PSICOLOGÍA Y EDUCACIÓN

 

Desarrollo y validación del Inventario de Caracterización de Ambientes para Educación Inicial

 

 

Nadir Díaz-Simón; Dinorah de León; Dahiana Fitipalde; Alejandro Vásquez-Echeverría

Universidad de la República, Montevideo, Uruguai

Correspondencia

 

 

---

RESUMEN

En este estudio se evaluaron las propiedades psicométricas del Inventario de Caracterización de Ambientes para Educación Inicial (INCA-EI), y el efecto del contexto socioeconómico y tipo de institución en la calidad de ambientes. Fueron evaluadas 142 aulas de educación inicial. El análisis de Unidimensionalidad para la Dimensión Estructura y el AFC para Dimensión Proceso mostró buen ajuste de los ítems a las subdimensiones de Estructura (p>.05; CFI >.90; RMSEA<.08), validando la organización de tres factores correlacionados en las subdimensiones de Proceso (χ² = 323.82; RMSEA = .06; CFI=.96; TLI=.96). El instrumento presenta buenos valores de consistencia interna (α =.88; ω =.93), y acuerdos moderados y considerables en la mayoría de puntuaciones en el acuerdo interjueces (CCI = .80). Se presentan diferencias entre la calidad de ambiente de Escuelas y Jardines e Instituciones de diferentes contextos socioeconómicos. Los resultados muestran que el INCA-EI constituye un instrumento válido y confiable para la evaluación de ambientes en educación inicial, que puede ser utilizado con fines investigativos y monitoreo de políticas públicas.

Palabras clave: ambiente escolar; educación inicial; validez, confiabilidad; contexto socioeconómico.

---

 

 

1. Introducion

Los primeros años de vida son un momento crucial para el desarrollo de capacidades y competencias cognitivas, afectivas, motoras y sociales, donde la inversión educativa conlleva altas tasas de retorno (Araujo & López-Boo, 2010). Consecuentemente, la calidad de ambientes de los servicios de cuidado y educación en esta etapa es un tema central en la política educativa, la investigación del desarrollo y la acción de los profesionales (Perlman & Fantuzzo, 2013). En las últimas décadas, varios gobiernos de Latinoamérica han enfocado sus esfuerzos en la expansión de la cobertura educativa en primera infancia (Berlinksi & Schady, 2015) y ratificado su compromiso en acuerdos regionales como Las Metas Educativas 2021 (Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura, 2008) o los Objetivos de Desarrollo Sostenible (Organización de Naciones Unidas, 2015). A partir de diversos mecanismos, se ha estableciendo la obligatoriedad de la asistencia a instituciones educativa a partir de los 5 años de edad, como es el caso de Colombia, 4 años en países como Argentina, Uruguay y el Brasil, e incluso a los de 3 años en México y Perú (Gamboa & Krüger, 2016). Luego de esto, el siguiente paso natural para promover la igualdad del desarrollo en contexto educativo es enfocarse en mejorar la calidad de los ambientes donde transcurre la educación Inicial.

Se define por ambiente educativo al amplio conjunto de condiciones físicas, sociales, psicológicas e intelectuales en donde se desarrolla el proceso de enseñanza y aprendizaje (American Psychological Association, APA, 2015). Es posible identificar dos grandes dimensiones en el estudio de la calidad de ambientes educativos. Por una parte, los elementos estructurales (Burchinal, Magnuson, Powell & Hong, 2015) que incluyen la cantidad de estudiantes inscriptos en el salón, la proporción entre estudiantes y docentes, la duración de la jornada escolar, calidad de los espacios, mobiliario y variedad de materiales didácticos con que cuenta la institución. Por otro lado, los aspectos procesuales del ambiente escolar incluyen la organización de la jornada escolar; los hábitos, rutinas y normas; calidad de las interacciones entre personal docente y los estudiantes, el apoyo emocional e institucional, la interacción con agentes externos como padres e instituciones comunitarias, y los sistemas continuos de mejora, que constituyen medidas de promoción de mejoras de las condiciones de los centros educativos.

La calidad del ambiente educativo ha sido relacionada con diferentes resultados tanto en desarrollo infantil como con bienestar docente y se considera un elemento central para alcanzar la meta 4.2 de los Objetivos de Desarrollo Sostenible, que refiere a la preparación para la escolarización (Unicef, 2012; Vásquez-Echeverría, 2020). Por ejemplo, en lo que hace a los elementos estructurales, se ha encontrado que la distribución del mobiliario en el salón de clases potencia un mayor número de interacciones entre docentes y estudiantes (Cardellino, Araneda, & García Alvarado, 2018). Asimismo, se ha demostrado la necesidad de contar con mobiliario diseñado y adaptado a las características antropométricas de la edad para evitar potenciales lesiones en el sistema músculoesquelético, dolor en espalda, hombros y cuello (Milanese & Grimmer, 2004). También se ha sugerido que el ruido en las aulas afecta el rendimiento escolar (Klatte, Bergström, & Lachmann, 2013), que la pobre ventilación y acondicionamiento térmico pueden reducir el rendimiento escolar hasta un 30% (Wyon, Wargocki, Toftum & Clausen, 2010) y que las características de la iluminación pueden afectar la concentración de los estudiantes (Singh, Arora, & Goyal, 2020).

En lo relativo a variables procesuales o de interacción se ha estudiado mayormente la calidad de las interacciones entre docentes y estudiantes. Estas predicen el rendimiento de niños en lenguaje (Sabol & Pianta, 2014), rendimiento académico (Shamaki, 2015) y funciones ejecutivas (Weiland, Ulvesad, Sachs & Yoshikawa, 2013). Los estudiantes en ambientes educativos de menor calidad tienen mayor probabilidad de presentar comportamientos tímidos y agresivos (Werthamer-Larsson, Kellam, & Wheeler, 1991). Por su parte, Mashburn et al. (2008) reportaron que una mayor riqueza en las interacciones instruccionales y emocionales, se relaciona con mayores habilidades académicas y socioemocionales en los niños, respectivamente. En otro estudio, Anderson y Phillips (2017) mostraron que el apoyo instruccional y emocional de los docentes en Educación Inicial se relaciona con el desarrollo académico y, a través de esos efectos inmediatos, predice, con efectos pequeños, el desempeño en la etapa escolar. Por otro lado, mayor calidad de ambiente escolar, y más concretamente, mejores procesos, se han relacionado con el bienestar docente, o menores niveles de burnout (Braun, Roeser, Mashburn, & Skinner, 2019; Hoglund, Klingle, & Hosan, 2015), mostrando la importancia de considerar la calidad de ambiente educativo como una parte integral de las condiciones de trabajo.

Actualmente existen algunos instrumentos de evaluación del ambiente educativo, que han sido empleados como herramientas para la investigación, monitoreo, acreditación y mejoras de los programas educativos en primera infancia (Berlinski & Schady, 2015; Halle, Vick Whittaker, & Anderson, 2010). Dos de los más utilizados son el Sistema de Puntuación para la Evaluación en el Aula (CLASS, del inglés Classroom Assessment Scoring System) (Pianta, La Paro & Hamre, 2008) y la Escala de Calificación del Ambiente de la Infancia Temprana (ECERS-R, del inglés Early Childhood Environment Rating Scale-Revised) (Harms, Clifford & Cryer, 1998). El CLASS, es desarrollado bajo el modelo Enseñando a través de la Interacción (del inglés, Teaching throught interaction) (Hamre & Pianta, 2007), y busca la comprensión de los procesos del aula que contribuyen al aprendizaje y desarrollo de los estudiantes a través de la evaluación de los aspectos procesuales del ambiente de clase. Por su parte, el ECERS fue desarrollado para proporcionar una herramienta de autoevaluación para los programas e identificar las fortalezas y debilidades del programa para la mejora continua de la calidad en centros de educación inicial (Harms, Clifford & Cryer, 1998), a través de la evaluación de aspectos estructurales y procesales del ambiente de clase.

Sin embargo, la disponibilidad de instrumentos para la evaluación y caracterización de los aspectos relacionados al constructo ambiente de clase, que sean válidos culturalmente y accesibles a los sistemas educativos, continúa siendo un reto (Berlinski & Schady, 2015). La evidencia sugiere que las escalas disponibles más utilizadas poseen limitaciones en cuanto a la adaptación cultural a las instituciones en América Latina y otras regiones. Por ejemplo, el CLASS presenta valores significativamente más bajos en los dominios de Apoyo Emocional e Institucional en instituciones en Chile (Leyva et al., 2015) que las reportadas en Estados Unidos (Burchinal et al., 2008), lo cual puede ser interpretado como una diferencia transcultural. Por otro lado, el ECERS no mostró validez estructural ni predictiva en su versión revisada en 61 aulas colombianas, específicamente en los ítems que evalúan las actividades centradas en los niños (Betancur, 2016). Investigadores en Suiza (Kärrby, 1989), China (Li, Ying Hu, Pan, Qin, & Fan, 2014), India (Isley, 2000) y Cambodia (Rao & Pearson, 2007) han debido introducir cambios sustantivos en la escala para adecuar los ítems a las particularidades del contexto social y educativo de dichos países. Además, las investigaciones sobre la organización subyacente del ECERS/ECERS-R encuentran resultados inconsistentes en cuanto a la estructura factorial, variando desde un factor de calidad global unidimensional (Holloway, Kagan, Fuller, Tsou, & Carroll, 2001), dos factores (Cassidy, Hestenes, Hegde, Hestenes, & Mims, 2005) o tres factores (Perlman, Zellman, & Le, 2004). Las inconsistencias en la estructura factorial de este instrumento en diferentes países también puede relacionarse con la especificidad cultural de cómo se manifiesta o se define socialmente la calidad de ambiente en educación inicial.

Valorando estos antecedentes y las consideraciones sobre la validez de los instrumentos disponibles para la medición de la calidad de ambiente (Burchinal, Kainz, & Cai, 2011) consideramos que cualquier uso que se quiera realizar de las escalas existentes en un nuevo contexto cultural, implica un proceso de adaptación y validación en sí mismo. Asimismo, el alto costo de adquisición de los instrumentos y del entrenamiento certificado para su uso implica una gran limitación para la proyección de su uso intensivo a escala nacional en países en vías de desarrollo. Por lo tanto, para una evaluación de alta frecuencia, confiable y válida del ambiente educativo en Uruguay era necesario contar un nuevo instrumento de evaluación. Para abordar estas dificultades fue desarrollado el Inventario de Caracterización de Ambientes para Educación Inicial (INCA-EI), que pretende ser una escala que integra la evaluación de aspectos estructurales y procesuales, culturalmente sensible, de acceso abierto y con independencia en la formación de aplicadores locales, con fines de investigación y monitoreo de política pública en primera infancia. Por tanto, el presente trabajo cuenta con dos objetivos principales: (a) determinar las propiedades psicométricas iniciales del INCA-EI, un nuevo instrumento de evaluación de la calidad de ambientes para la educación preescolar y (b) analizar la asociación entre la calidad de ambiente escolar con el contexto socioeconómico del centro y su tipología dentro del sistema educativo uruguayo.

 

2. Método

2.1 Desarrollo de la primera versión del instrumento

El desarrollo de la estructura dimensional y de los indicadores del INCA-EI estuvo basado en tres pasos. Primero, se realizó una revisión en la base de datos EBSCO host utilizando las palabras clave: "classroom environment"," preschool education"," quality of classroom environments", y se seleccionaron aquellas publicaciones arbitradas, en idioma inglés o español, en el período de enero del 2000 y junio del 2019, y cuya población comprendiera edades pre-escolares (3 a 5 años aproximadamente), los cuales fueron sistematizados y codificados. Esta búsqueda permitió identificar los aspectos de la calidad de los ambientes educativos relacionados con el desarrollo infantil y el bienestar del personal. En base a esta búsqueda se encontró que las herramientas más utilizadas en estos trabajos fueron el CLASS (Pianta, La Paro & Hamre, 2008) y la ECERS-R (Harms, Clifford & Cryer, 1998). Finalmente analizamos los documentos rectores del sistema de Educación Inicial en Uruguay (e.g.: Programas de educación preescolar). En base a esta información se creó una primera versión del instrumento, organizado en dos grandes dimensiones de Estructura y Procesos que fuimos iterando en la cantidad y contenidos de los ítems en función del trabajo que describimos a continuación. Para evaluar su validez de contenido, sometimos la estructura dimensional y los ítems al juicio de seis expertos con antecedentes en temas de ambientes de desarrollo y/o desarrollo infantil que cumplieran con los criterios establecidos por Skjong y Wentworth (2001) de: experiencia en la realización de juicios y toma de decisiones basada en evidencia o experticia, reputación en la comunidad, disponibilidad y motivación para participar, e imparcialidad. Posteriormente, se realizó un estudio piloto en 19 aulas de 10 instituciones del sistema público en Montevideo para analizar la adecuación de los ítems y la usabilidad del instrumento. Estas instituciones fueron seleccionadas por las autoridades educativas en base a criterios de representatividad según el tipo de centro y nivel socioeconómico. A partir del análisis cuanti-cualitativo del estudio piloto y el juicio experto, se introdujeron cambios en el inventario o se eliminaron indicadores de difícil medición.

2.2 Muestra

Fueron evaluadas 142 clases de 81 centros educativos urbanos del sistema público de educación inicial en Montevideo. Se realizaron evaluaciones en 40 Jardines (63.49%, de un total de 63 jardines públicos de la capital) y en 41 escuelas primarias con clases de educación inicial (17.01%, de un total de 241 escuelas primarias con educación inicial). El listado de centros a contactar fue provisto por la autoridad educativa, lo cual no implicó la obligatoriedad de los mismos a participar del estudio. De este listado, un integrante del equipo de investigación se contactó telefónicamente con un centro seleccionado aleatoriamente respetando cuotas en la asignación a estratos según tipología del centro, nivel y quintil de nivel socioeconómico. La media de experiencia de trabajo de los docentes fue 16.53 años (DE=7.67, rango 1 a 43 años). La media de inscriptos por clase fue de 26 estudiantes (DE = 4.24), y la media del porcentaje de asistencia de alumnos inscriptos el día de evaluación fue 73.76%.

Los centros educativos preescolares públicos pueden clasificarse en función de dos elementos principales, el tipo de institución y el nivel de contexto sociocultural (NCS). Según el tipo de institución los centros se clasifican en Jardines (centros que solo cuentan con clases de Nivel 3, 4 y 5 de educación inicial) y Escuelas (centros que cuentan con clases de Nivel 3, 4 y 5 de educación inicial junto con toda la educación primaria). Según el NCS, los centros se organizan en quintiles, en donde el quintil 1 incluye el 20% de los centros de contexto más vulnerable mientras que en el quintil 5 se agrupan el 20% de los centros de menor vulnerabilidad social. Estos quintiles se construyen en base a las características de la población que asiste a los centros y tiene en cuenta, por ejemplo, el nivel educativo de los padres y las necesidades básicas alcanzadas por las familias (Figura 2.2.1). Algunos de los centros que se incluyen en los quintiles 1 y 2, integran el Programa de Atención Prioritaria en Entornos con Dificultades Estructurales Relativas a través del cual se intenta desplegar políticas de inclusión para integrar y articular acciones que se focalicen en los sectores más vulnerables. Por lo tanto, reciben una atención prioritaria en cuanto a atención pedagógica y distribución de recursos materiales.

 

 

2.3 Instrumentos

Inventario de Caracterización de Ambientes para Educación Inicial. El INCA-EI fue diseñado para evaluar los aspectos estructurales y procesuales del ambiente de clase en educación inicial. Tiene dos fuentes de información: la observación directa no participante y una entrevista semiestructurada al docente a cargo del salón. La versión utilizada en este estudio estuvo compuesta por 71 ítems divididos en dos dimensiones: Estructura (44 ítems) y Proceso (27 ítems) que se responden en una escala de 4 puntos en función de la presencia o ausencia de determinados indicadores.

La dimensión de Estructura evalúa las condiciones infraestructurales necesarias para que puedan desarrollarse las experiencias educativas que promuevan el desarrollo y aprendizaje. Cuenta con dos subdimensiones: la primera es Espacios del Centro agrupa los ítems que se evalúan en el Aula (7 ítems), Baño (5), Comedor (7), Patio (5), Espacio Interior Común (6). Además, el INCA-EI permite obtener medidas de indicadores transversales como Amplitud, Ventilación, Acústica, Luminosidad, Limpieza, Seguridad, Accesibilidad y Mantenimiento. La segunda es Materiales Didácticos, que evalúa la calidad y variedad de materiales didácticos con los que se cuentan en el salón de clases y/o la institución (10 ítems). La dimensión de Procesos evalúa las formas en que ocurre el proceso educativo: como es implementada por el personal docente, además de las características de las interacciones entre el personal de la institución, familiares y niños. Esta dimensión está compuesta por cuatro subdimensiones: Organización del aula (9 ítems), Prácticas de enseñanza (7), Apoyo emocional (6) y Relacionamiento con la Familia (5). Para la puntuación del INCA-EI se requiere la observación de al menos 4 horas de la jornada docente, incluyendo la entrada y/o salida de los estudiantes al centro. Asimismo, se recomienda que la asistencia de los alumnos en el día de la aplicación sea mayor a la mitad del total de estudiantes inscriptos.

2.4 Procedimiento

Este proyecto contó con el aval del Comité de Ética de la Facultad de Psicología de la Universidad de la República y del Consejo de Educación Inicial y Primaria (CEIP) de la Administración Nacional de Educación Pública. A partir de los listados enviados por el CEIP con los centros educativos con aulas de educación inicial de Montevideo, se contactó telefónicamente a los directores para extenderles la invitación a la participación en el estudio (CEIP, 2018). Del total de 118 instituciones contactadas, aceptaron participar 81 (tasa de aceptación = 69 %); 21 centros (18 %) indicaron no tener disponibilidad y 16 (14 %) si bien aceptaron en primera instancia, nunca se pudo concretar la visita por diversos motivos ajenos al equipo de investigación. El día de visita al centro fue coordinado con la dirección. Al mismo, concurrió un evaluador capacitado en la administración del INCA-EI, con la documentación necesaria (copia de la autorización del CEIP, hoja de información del estudio y consentimiento informado). Para el análisis de concordancia entre observadores, 27 aulas de las 142 fueron visitadas de forma repetida (dos veces) para una evaluación independiente por dos observadores.

Un total de seis evaluadores realizaron el trabajo de campo, dos integrantes estables del equipo de investigación y cuatro estudiantes que recibieron créditos por su participación en el proyecto y tomaron un curso de 26 horas sobre evaluación del desarrollo y el ambiente escolar mediante el INCA-EI. Los evaluadores integrantes del equipo de investigación realizaron el 86 % de las evaluaciones totales. Los estudiantes debieron alcanzar índices de acuerdo de k = .80 respecto al integrante del equipo de investigación con el que realizaban la formación. Una vez en el aula, el investigador se presentó y se sentó en el fondo del salón o en un lugar donde afectase lo menos posible la dinámica de la clase. Tal como se indica en el Manual de Aplicación del INCA-EI, la evaluación suele comenzar por los ítems de la dimensión de estructura, pero siempre teniendo presente los procesos que se dan en las diferentes actividades propuestas por el docente. Resultó frecuente que el evaluador acompañase al grupo a otro sector del centro educativo (e.g.: patio, sala de gimnasia, biblioteca). En estos momentos se observó el mantenimiento interno de la escuela, así como también las condiciones de seguridad y la distancia de los baños al aula. Durante el recreo o mientras los niños se encontraban realizando una tarea, el investigador entrevistaba a la maestra sobre su formación y las características del grupo.

2.5 Análisis de datos

Para el análisis de datos se utilizaron los programas SPSS v20 y el Mplus 8.0. Para la imputación de los datos faltantes se utilizó el algoritmo EM (del inglés Expectation Maximization) con 25 iteraciones, dado que el test MCAR de Little lo permitió, (χ² = 195.02; p= .99).

Para analizar la consistencia interna se utilizaron los Coeficientes Alfa de Cronbach (α) y Omega de McDonald (ω). Se consideraron aceptables los valores superiores a .65 (Katz, 2006) y puede ser considerada buena consistencia a partir .70 en ambos coeficientes (Oviedo & Campos-Arias, 2016). Para el análisis del acuerdo interjueces se utilizó el Índice de Correlación Intraclase donde consideramos valores entre 0.50 y 0.75 como acuerdo moderado, entre 0.75 y 0.90 considerables y superiores a este valor se considera un acuerdo excelente (Koo & Li, 2016). Para el análisis de la validez de la estructura interna se realizó un análisis de unidimensionalidad en las puntuaciones de Estructura y un análisis integral de la dimensión de Procesos mediante análisis factorial confirmatorio. Dado que los estimadores de ajuste utilizados son sensibles al tamaño de la muestra, sólo se incluyeron las subdimensiones que cuentan con un número de casos mayores a 100. Se utilizaron los criterios de Sharma, Mukherjee, Kumar, & Dillon (2005): Error Cuadrático Medio de Aproximación (RMSEA, por sus siglas en inglés) cercanos a 0.05; Índice de Ajuste Comparativo (CFI, por sus siglas en inglés) y el Índice de Tucker Lewis (TLI, por sus siglas en inglés) mayores o iguales a 0.90. Respecto a la magnitud de los efectos, se siguieron los criterios de Ferguson (2009). Para la mínima utilidad práctica el valor de la d de Cohen será > 0.41; y para la eta cuadrado (η²) > .04; efectos moderados se considerarán d > 1.15 yη²> .25 y fuertes d > 2.70;η² > .64.

 

3. Resultados

3.1 Validez de la estructura interna

Inicialmente, se realizó un análisis para confirmar la unidimensionalidad en las puntuaciones de Estructura (Figura 3.1.1). Del total de 81 instituciones evaluadas, 41 de ellas (50.62%) contaron con Comedor y 48 con Espacio Interior Común (59.26%) por lo que el número total de aulas resultó insuficiente para el análisis factorial y se excluyeron del análisis. Los resultados señalan un buen ajuste al modelo confirmatorio de todas las subescalas de estructura (p>.05; CFI >.90; RMSEA<.08) (Sharma et al., 2005) a excepción Materiales, que presenta algunos indicadores subóptimos, pero que, en su conjunto, son aceptables. Los resultados del Análisis Factorial Confirmatorio (AFC) sobre la dimensión de procesos muestran un buen ajuste a un modelo compuesto por tres factores correlacionados (χ²=323.82; RMSEA=.06; CFI=.96; TLI=.96). Aquí también excluimos del análisis la subescala Relacionamiento con la Familia por contar con el número de casos muy bajos (N=51). Cabe señalar que el modelamiento de un factor de segundo orden de procesos genera casi idénticos resultados en el ajuste.

 

 

3.2 Análisis descriptivos

Los análisis descriptivos (tendencia central y dispersión) de los ítems y las puntuaciones del INCA-EI permiten observar una adecuada variabilidad. El análisis de frecuencias en el uso de las categorías de puntuaciones mostró que en 62 ítems (86.11% del total) se utilizó el rango completo de puntuaciones (de 1 a 4). Dentro de los que no se logró esto, se destaca el caso de Accesibilidad, que evalúa la presencia de estructuras y accesorios que posibilitan el acceso y uso de los espacios a personas con movilidad reducida, como es el caso de estudiantes, personal o familiares que utilicen sillas de rueda, andadores o muletas. La media del indicador transversal Accesibilidad es la más baja de toda la escala, observándose un uso frecuente de puntuaciones bajas (1 y 2). Por ejemplo, en el caso del ítem Accesibilidad el Baño (E32), el 60% de las puntuaciones indican la ausencia de estructuras como rampas, barandas o espacios suficientes para el uso de los servicios sanitarios de niños con movilidad reducida.

3.3 Correlaciones y Análisis de consistencia interna

Se analizó la relación entre las puntuaciones de las Dimensiones y Subdimensiones a través del coeficiente de correlación de Pearson. Se observan correlaciones moderadas entre las subdimensiones (ver Figura 3.3.1). También se encontró una correlación moderada y significativa, r = .34; p<0.01, entre las puntuaciones entre las dos dimensiones (Estructura y Proceso) del INCA-EI.

 

 

Los resultados del análisis de consistencia interna (Figura 3.4.1) muestran que ambas dimensiones de la escala (Estructura y Proceso) muestran valores de fiabilidad superiores a .80, que pueden ser considerados buenos según George y Mallery (2003). En cuanto al análisis de fiabilidad realizado a través del Coeficiente Omega de McDonald, el cual constituye una medida más robusta, que no se ve afectada por la cantidad de ítems (McDonald, 1999), pudimos observar subdimensiones con valores superiores a .65, considerados aceptables (Katz, 2006) y subdimensiones en el rango de .70 y .90, considerados buenos (Campo-Arias & Oviedo, 2008). Las dimensiones presentan coeficientes excelentes.

 

 

3.4 Evaluación del acuerdo interjueces

El análisis del Índice de Correlación Intraclase (ICC) para evaluar el acuerdo entre jueces de la evaluación realizada a 27 aulas arroja grados de acuerdo que van entre Moderado (.50- .75), Considerable (.75 - .90) o Excelente (.90 - 1.00). Únicamente la subdimensión Materiales arrojó un bajo acuerdo entre los jueces, mientras que el indicador transversal Acústica y la subdimensión Apoyo Emocional resultan mejorables (Ver Figura 3.4.1).

3.5 Diferencias entre quintiles de Contexto Socioeconómico

Se realizaron Análisis de Varianza (Anova) del Factor Nivel Socioeconómico de las instituciones. Se encontraron diferencias estadísticamente significativas con tamaño de efecto moderado respecto a las puntuaciones de los Comedores (F (4, 62) = 5.37; p <.01;η²=.26), y bajas para la amplitud de los espacios, F (4, 137) = 2.61; p =.04;η² = .07, alcanzando las puntuaciones más bajas en quintil 3 en ambos casos. La prueba de Tukey para el análisis post hoc muestra diferencias estadísticamente significativas en las puntuaciones de comedor de quintiles 2 con el quintil 3 (p <.01) y quintil 4 (p <.01). Respecto a Amplitud se encontraron diferencias entre los quintiles 2 y 3 (p = .05). No se encontraron diferencias significativas en la Dimensión de Proceso. Sin embargo, encontramos algunas diferencias tendientes a la significancia estadística (p = .06) que puede ser de interés considerar. Es el caso de Aula (F (4, 137) = 2.37; p = .06;η² =.07), Baño (F (4, 137) = 2.30; p = .06,η² =.06) y la Dimensión de Proceso (F (4, 132) = 2.37; p = .06;η² =.07) (Ver Material Suplementario 1).

3.6 Diferencias entre escuelas y jardines

En el Material Suplementario 2 se muestran las medias y las diferencias de medias entre las diferentes subdimensiones del INCA-EI según tipo de centro (escuelas y jardines). Los resultados arrojan diferencias estadísticamente significativas, a favor de los jardines, en la medida global de la dimensión de Estructura (t = 5.10; p < .001; d =.87). En cuanto a los Espacios del Centro encontramos diferencias en el Aula (t = 2.53; p = .01; d =.43), Baños (t = 2.05; p = .04, d =.35), Patio (t = 6.86; p <.001; d = 1.16) y Espacio Interior Común (t = 2.99; p = .01; d =.69). En cuanto a los indicadores transversales encontramos diferencias en cuanto al Mantenimiento (t = 5.60; p <.001; d = 0.94), Ventilación (t = 3.54; p <.001; d =.60), Luminosidad (t = 2.31; p = .02; d =.39), Limpieza (t = 7.30; p <.001; d = 1.23) y Seguridad (t = 3.86; p <.001; d =.65). Encontramos diferencias en cuanto a los Materiales didácticos disponibles (t = 5.03; p <.01; d = .85). En la Dimensión de Proceso sólo encontramos diferencias en la Organización del Aula (t = 2.27; p = .02; d =.39). Finalmente, en todas las subdimensiones que se encontraron diferencias estadísticamente significativas, los Jardines poseen valores más altos comparados con las Escuelas (Ver Material Suplementario 2).

 

4. Discusión

Contar con instrumentos válidos y confiables que posibiliten la evaluación de los elementos estructurales y procesuales del ambiente escolar, adaptados los sistemas educativos, constituye un punto de partida necesario para realizar investigación e informar la toma de decisiones en políticas educativas basadas en la evidencia. Los avances en la calidad de ambientes garantizan el derecho de los niños de recibir una educación de calidad y mejores condiciones para el desempeño del personal docente. En el presente estudio se sistematizaron las evaluaciones de una amplia muestra de instituciones del sistema público de la capital uruguaya que ofrecen educación inicial con el objetivo de evaluar la validez y confiabilidad de un instrumento desarrollado para caracterizar los elementos estructurales y procesuales del ambiente de clase.

Los análisis realizados han permitido probar las propiedades psicométricas del instrumento y postular al INCA-EI como un instrumento fiable para medir los aspectos relacionados al ambiente educativo, con fines de investigación y asesoramiento de políticas públicas. En cuanto al análisis de confiabilidad, evaluado a través de la consistencia interna y evaluación del acuerdo interjueces de las subdimensiones, dimensiones y la puntuación global de la escala, se encontraron resultados de consistencia interna muy buenos (superiores a .80) tanto a nivel de subdimensiones como a nivel de escala, similar a los valores de consistencia mostrados por instrumentos con objetivos similares como el ECERS-R (Harms, Clifford & Cryer, 1998) y la CLASS (Pianta, La Paro, & Hamre, 2008). Esto evidencia que las puntuaciones obtenidas a nivel de ítem miden conjuntamente los constructos propuestos. En cuanto a la evaluación del acuerdo entre evaluadores se alcanzaron valores moderados y considerables, mostrando procedimientos compartidos durante el proceso de observación. Sin embargo, la subdimensión Materiales arrojó resultados por debajo de los niveles óptimos sugiriendo que la descripción y/o entrenamiento que demanda el INCA-EI para esta subescala debe ser perfeccionado. Entretanto, una alternativa que los investigadores pueden considerar es utilizar una puntuación de Estructura sin sumar los ítems de Materiales.

Sobre el análisis de validez de la estructura interna del INCA los resultados del AFC muestran que el conjunto de ítems de la Dimensión de Proceso, están organizados en base a tres factores propuestos en la organización de la escala: Organización del Aula, Prácticas de Enseñanza y Apoyo Emocional. Estos resultados son consistentes con la estructura factorial de instrumentos centrados en la evaluación de aspectos procesuales del ambiente de clase como CLASS (Pianta et al., 2015), y no apoya la idea de posibles soluciones de dos potenciales factores (e.g.: Hamre et al., 2013). Como novedad, señalamos que, en esta muestra, el modelo de segundo orden ajusta bien a los datos, representando que la puntuación total de Procesos puede ser interpretada con tranquilidad por los investigadores. De forma más amplia, los resultados sugieren que las intervenciones para generar "escuelas preparadas" (Unicef, 2012) a nivel de los procesos interactivos educador-niño pueden orientarse hacia tres grandes áreas de intervención, así como el currículum docente para la mejora del ambiente áulico. Estos aprendizajes o programas de política pública pueden eventualmente ser medidos a través de la aplicación del INCA-EI.

Hemos encontrado diferencias significativas según el NCS y tipo de institución, con tamaños de efecto principalmente moderados y altos, generalmente en los aspectos estructurales (espacios del centro y materiales). Además, se muestran algunas diferencias que tienden a la significancia estadística y sobre las cuales se necesitaría continuar ampliando la muestra para una mayor potencia estadística. Este resultado apoya uno de los motivos de creación del INCA-EI que estuvo concebido para tener capacidad discriminativa en estos aspectos. Respecto al NCS, las diferencias observadas en forma de "U", a nivel de Estructura, pueden deberse a las políticas especiales de apoyo que han recibido las escuelas de quintiles 1 y 2 (pertenecientes al programa Aprender), mientras que las de quintiles superiores pudieran deberse a la actividad de iniciativas conjuntas entre la escuela y la familia para el mejoramiento de las condiciones materiales y de personal docente. Las diferencias entre los tipos de instituciones pueden ser explicadas debido a que los jardines presentan una infraestructura más especializada a las características de la edad de los niños preescolares que asisten, comparado con las escuelas primarias que están diseñadas para el uso de un rango mayor de edades.

Un indicador de relevancia que debe caracterizar la calidad de los ambientes de educación formal es permitir el acceso y uso de los espacios del centro a estudiantes, personal y familiares de forma segura, autónoma y confortable. Quizás uno de los resultados más críticos obtenidos a partir de la aplicación del INCA-EI refiere a las limitaciones en la accesibilidad de personas con movilidad reducida o discapacidad visual en una cantidad considerable de centros. Esto se evidencia en la presencia de barreras arquitectónicas, ausencia de rampas, barandas y demás elementos que le permiten a las poblaciones con diferentes necesidades un uso cotidiano de los espacios de la institución.

Si bien estos resultados constituyen una base sólida en la intención de generar sistemas de evaluación continua sobre la calidad de ambientes educativos, también es necesario recalcar dos principales limitaciones del presente estudio. Primero, la muestra está constituida únicamente por instituciones urbanas de educación inicial del sistema público en la capital, es por ello que se hace necesario ampliar la muestra en cuanto a representatividad a nivel nacional, tanto de escuelas y jardines de otras regiones, escuelas rurales, como instituciones privadas de educación. Esto permitirá una mejor caracterización del espectro de realidades en donde los estudiantes y docentes desarrollan el proceso de enseñanza y aprendizaje, así como ampliar el tamaño muestral. Segundo, aún no se cuenta con un análisis de confiabilidad a través del test-restest. Estas limitaciones constituyen las directrices para futuras investigaciones en el desarrollo del INCA-EI.

 

Referencias

American Psychological Association - APA (2015). APA Dictionary of Psychology. (G. VandenBos, Ed.), APA Dictionary of Psychology (Second Edition). Washington: American Psychological Association. doi: 10.1037/h0081324        [ Links ]

Anderson, S., & Phillips, D. (2017). Is pre-K classroom quality associated with kindergarten and middle-school academic skills? Developmental Psychology, 53(6),1063-1078. doi: 10.1037/dev0000312        [ Links ]

Araujo, M. A., & López-Boo F. (2010) Invertir en los primeros años de vida: Una prioridad para el BID y los países de América Latina y el Caribe. Washington: Banco Interamericano de Desarrollo.         [ Links ]

Berlinski, S., & Schady, N. (Eds). (2015). Los primeros años: el bienestar infantil y el papel de las políticas públicas. Washington: Banco Interamericano de Desarrollo.         [ Links ]

Betancur-Cortes, L. (2016). Measuring quality of preschool education in low-and middle-income countries: Analysis of validity of the Early Childhood environment rating scale-revised in Colombia. (Master's Thesis). University of Pittsburgh, Pittsburgh.         [ Links ]

Braun, S. S., Roeser, R. W., Mashburn, A. J., & Skinner, E. (2019). Middle school teachers' mindfulness, occupational health and well-being, and the quality of teacher- student interactions. Mindfulness, 10(2),245-255. doi: 10.1007/s12671-018-0968-2        [ Links ]

Burchinal, M., Howes, C., Pianta, R. C., Bryant, D., Earl, D., Clifford, R., & Barbarin, O. (2008). Predicting child outcomes at the end of kindergarten from the quality of pre-kindergarten teacher-child interactions and instruction. Applied Developmental Science, 12(3),140-153. doi: 10.1080/10888690802199418        [ Links ]

Burchinal, M., Kainz, K., & Cai, Y. (2011). How well do our measures of quality predict child outcomes? A meta-analysis and coordinated analysis of data from large-scale studies of early childhood settings. In M. Zaslow (Ed.), Quality measurement in early childhood settings (pp. 11-33). Baltimore, MD: Paul H. Brookes.         [ Links ]

Burchinal, M., Magnuson, K., Powell, D., & Hong, S. S. (2015). Early childcare and education. In R. M. Lerner & M. E. Lamb. (Eds), Handbook of child psychology and developmental science (pp. 223-267, Vol. 3). New Jersey: John Wiley & Sons.         [ Links ]

Campo-Arias, A., & Oviedo, H. C. (2008). Propiedades psicométricas de una escala: La consistencia interna. Revista de salud pública, 10(5),831-839.         [ Links ]

Cardellino, P., Araneda, C., & García-Alvarado, R. (2018). Interventions in the classroom: The influence of spatial organisation on educational interaction in Uruguay. Architectural Engineering and Design Management, 14(6),413-426. doi: 10.1080/17452007.2018.1477727        [ Links ]

Cassidy, D. J., Hestenes, L. L., Hegde, A., Hestenes, S., & Mims, S. (2005). Measurement of quality in preschool child care classrooms: An exploratory and confirmatory factor analysis of the early childhood environment rating scale-revised. Early Childhood Research Quarterly, 20(3),345-360. doi: 10.1016/j.ecresq.2005.07.005        [ Links ]

CEIP (2018). Monitor Educativo del CEIP: Estado de Situación 2018. Retrieved from http://www.anep.edu.uy/monitorRepo/Presentaciones%20PDF%20y%20documentos/Estado%20de%20Situacion%202018.pdf        [ Links ]

Ferguson, C. J. (2009). An effect size primer: A guide for clinicians and researchers. Professional Psychology: Research and Practice, 40(5),532-538. doi: 10.1037/a0015808        [ Links ]

Gamboa, L. F., & Krüger, N. (2016). ¿Existen diferencias en América Latina en el aporte de la educación preescolar al logro educativo futuro?: PISA 2009-2012. Revista Cepal, (118),85-100.         [ Links ]

George, D., & Mallery, P. (2003). SPSS for Windows step by step: A simple guide and reference. 11.0 update (4^th ed.). Boston: Allyn & Bacon.         [ Links ]

Halle, T., Whittaker, J. V., & Anderson, R. (2010). Quality in Early Childhood Care and Education Settings: A Compendium of Measures, Second Edition. Washington, DC: Child Trends.         [ Links ]

Hamre, B. K., & Pianta, R. C. (2007). Learning opportunities in preschool and early elementary classrooms. In R. C. Pianta, M. J. Cox, & K. L. Snow (Eds.), School readiness and the transition to kindergarten in the era of accountability (p. 49-83). Baltimore: Paul H Brookes Publishing.         [ Links ]

Hamre, B. K., Pianta, R. C., Downer, J. T., Decoster, J., Mashburn, A. J., Jones, S. M., ... Hamagami, A. (2013). Teaching through interactions: Testing a developmental framework of teacher effectiveness in over 4,000 classrooms. The Elementary School Journal, 113(4),461-487. doi: 10.1086/669616        [ Links ]

Harms, T., Clifford, R. M., & Cryer, D. (1998). Early Childhood Environment Rating Scale. Revised ed. New York: Teachers College Press.         [ Links ]

Hoglund, W. L., Klingle, K. E., & Hosan, N. E. (2015). Classroom risks and resources: Teacher burnout, classroom quality and children's adjustment in high needs elementary schools. Journal of School Psychology, 53(5),337-357.         [ Links ]

Holloway, S. D., Kagan, S., Fuller, B., Tsou, L., & Carroll, J. (2001). Assessing child-care quality with a telephone interview. Early Childhood Research Quarterly, 16(2),165-189.         [ Links ]

Isley, B. J. (2000). Tamil Nadu Early Childhood Environment Rating Scale (TECERS). Madras, India: M.S. Swaminathan Research Foundation.         [ Links ]

Kärrby, G. (1989). A Swedish research version of the Early Childhood Environment Rating Scale (ECERS). Göteborg, Sweden: University of Gothenburg, Department of Education.         [ Links ]

Katz, M. H. (2006). Multivariable analysis (2^nd ed.). Cambridge: Cambridge University Press.         [ Links ]

Klatte, M., Bergström, K., & Lachmann, T. (2013). Does noise affect learning? A short review on noise effects on cognitive performance in children. Frontiers in Psychology, 4,1-6, doi: 10.3389/fpsyg.2013.00578        [ Links ]

Koo, T. K., & Li, M. Y. (2016). A guideline of selecting and reporting intraclass correlation coefficients for reliability research. Journal of Chiropractic Medicine, 15(2),155-163. doi: 10.1016/j.jcm.2016.02.012        [ Links ]

Leyva, D., Weiland, C., Barata, M., Yoshikawa, H., Snow, C., Treviño, E., & Rolla, A. (2015). Teacher-child interactions in Chile and their associations with prekindergarten outcomes. Child development, 86(3),781-799.         [ Links ]

Li, K., Ying Hu, Y., Pan, Y, Qin, J, & Fan, X. (2014). Chinese Early Childhood Environment Rating Scale (trial) (CECERS): A validity study. Early Childhood Research Quarterly, 29(3),268-282. doi: 10.1016/j.ecresq.2014.02.007        [ Links ]

Mashburn, A. J., Pianta, R. C., Hamre, B. K., Downer, J. T., Barbarin, O. A., Bryant, D., ... Howes, C. (2008). Measures of classroom quality in prekindergarten and children's development of academic, language, and social skills. Child Development, 79(3),732-749. doi: 10.1111/j.1467-8624.2008.01154.x        [ Links ]

McDonald, R. P. (1999). Test theory: A unified treatment. Mahwah, N. J.: L. Erlbaum Associates.         [ Links ]

Milanese, S., & Grimmer, K. (2004). School furniture and the user population: An anthropometric perspective. Ergonomics, 47(4),416-426. doi: 10.1080/0014013032000157841        [ Links ]

Organización de Estados Iberoamericanos. (2008). Metas Educativas 2021. La educación que queremos para la generación de los bicentenarios (Documento para el debate. Primera versión). Madrid: Organización de Estados Iberoamericanos.         [ Links ]

Oviedo, C. H., & Campos Arias, A. (2016). Aproximación al uso del coeficiente alfa de Cronbach. Revista Colombiana de Psiquiatría, 34(4),572-580. Retrieved from http://www.redalyc.org/articulo.oa?id=80634409        [ Links ]

Perlman, M., Zellman, G. L., & Le, V. (2004). Examining the psychometric properties of the early childhood environment rating scale-revised (ECERS-R). Early Childhood Research Quarterly, 19(3),398-412. doi: 10.1016/j.ecresq.2004.07.006        [ Links ]

Perlman, S., & Fantuzzo, J. W. (2013). Predicting risk of placement: A population-based study of out-of-home placement, child maltreatment, and emergency housing. Journal of the Society for Social Work and Research, 4(2),99-113. doi: 10.1016/j.childyouth.2013.02.016        [ Links ]

Pianta, R. C., La Paro, K. M., & Hamre, B. K. (2008). Classroom Assessment Scoring System (CLASS). Baltimore, MD: Brookes.         [ Links ]

Pianta, R. C., La Paro, K. M., & Hamre, B. K. (2015). Classroom Assessment Scoring System Manual, Pre-K. Baltimore, MD: Paul H. Brookes Publishing Co.         [ Links ]

Pianta, R., Downer, J., & Harare, B. (2016). Quality in early education classrooms: Definitions, gaps, and systems. The Future of Children, 26(2),119-137.         [ Links ]

Rao, N., & Pearson, E. (2007). An evaluation of early childhood care and education programmes in Cambodia. UNICEF, Geneva. Retrieved from http://www.unicef.org/evaldatabase/files/CBD_early_childhoodcare_evaluation.pdf        [ Links ]

Sabol, T. J., & Pianta, R. C. (2014). Do standard measures of preschool quality used in statewide policy predict school readiness? Education Finance and Policy, 9(2),116-164. doi: 10.1162/EDFP_a_00127        [ Links ]

Shamaki, T. A. (2015). Influence of Learning Environment on Students' Academic Achievement in Mathematics: A Case Study of Some Selected Secondary. Journal of Education and Practice, 6(34),40-44.         [ Links ]

Sharma, S., Mukherjee, S., Kumar, A., & Dillon, W. R. (2005). A simulation study to investigate the use of cutoff values for assessing model fit in covariance structure models. Journal of Business Research, 58(7),935-943.         [ Links ]

Singh, P., Arora, R., & Goyal, R. (2020). Impact of lighting on performance of students in Delhi schools. In A. Sharma, R. Goyal & R. Mittal (Eds.), Indoor Environmental Quality (pp. 95-108). Springer: Singapore.         [ Links ]

Skjong, R., & Wentworth, B. H. (2001, June). Expert judgment and risk perception. In the eleventh international offshore and polar engineering conference. OnePetro.         [ Links ]

Unicef (2012). School readiness. A conceptual framework. New York: United Nations Children's Fund.         [ Links ]

United Nations General Assembly (2015). Transforming Our World: The 2030 Agenda for Sustainable Development. Resolution adopted by the General Assembly on September 25, 2015. A/RES/70/1, October, 21.         [ Links ]

Vásquez-Echeverría, A. (Ed.) (2020). El Inventario de Desarrollo Infantil y la evaluación sistemática del desarrollo en contextos educativos. Teoría, creación e implementación. PsyArVix Preprints. doi: 10.31234/osf.io/xg2hj        [ Links ]

Weiland, C., Ulvestad, K., Sachs, J., & Yoshikawa, H. (2013). Associations between classroom quality and children's vocabulary and executive function skills in an urban public prekindergarten program. Early Childhood Research Quarterly, 28,199-209. doi: 10.1016/j.ecresq.2012.12.002        [ Links ]

Werthamer-Larsson, L., Kellam, S., & Wheeler, L. (1991). Effect of first-grade classroom environment on shy behavior, aggressive behavior, and concentration problems. American journal of community psychology, 19(4),585-602.         [ Links ]

Wyon, D. P., Wargocki, P., Toftum, J., & Clausen, G. (2010). Classroom ventilation must be improved for better health and learning. The REHVA European HVAC Journal, 47(4),35-39.         [ Links ]

 

 

Correspondencia:
Alejandro Vásquez-Echeverría
Instituto de Fundamentos y Métodos, Facultad de Psicología, UdelaR
Dr. Tristán Narvaja, 1674
CP. 11200. Montevideo, Uruguay
E-mail: avasquez@psico.edu.uy

Enviado: 05/08/2020
Aceptado: 16/03/2021

 

 

Nota del autor: Nadir Díaz-Simón, Centro Interdisciplinario en Cognición para la Enseñanza y el Aprendizaje, Universidad de la República; Dinorah de León, Centro Interdisciplinario en Cognición para la Enseñanza y el Aprendizaje, Universidad de la República; Dahiana Fitipalde, Centro Interdisciplinario en Cognición para la Enseñanza y el Aprendizaje, Universidad de la República; Alejandro Vásquez-Echeverría, I Centro Interdisciplinario en Cognición para la Enseñanza y el Aprendizaje y Instituto de Fundamentos y Métodos en Psicología, Universidad de la República.