Selección de modelos multinivel en la investigación en el campo educativo

Resumen

Actualmente, el modelado lineal jerárquico o multinivel constituye un área de investigación muy activa en diversas áreas de las Ciencias Sociales, del Comportamiento y de la Salud, debido a que estas técnicas permiten abordar cuestiones cuyo análisis estadístico resulta problemático con los modelos tradicionales. En el ámbito de la Psicología de la Educación, este enfoque analítico permite la construcción empírica de modelos ajustados a los datos, que hacen posible describir, explicar, predecir y poner a prueba hipótesis acerca de la relación entre los estudiantes y el medio escolar en el que operan. Esta circunstancia enfrenta al investigador al reto de considerar la estructura jerárquica, multinivel o anidada en que, bien de modo natural o bien como consecuencia del diseño de estudio, están organizados los datos, y a medir variables en los distintos niveles de agregación de las unidades de estudio (Vallejo, et al., 2008). Así las cosas, y en vista de la necesidad de obtener modelos con gran capacidad de descripción, explicación y predicción, la investigación metodológica se centra ahora en el desarrollo de métodos de estimación y herramientas de evaluación para la selección de los modelos más parsimoniosos adecuados a cada situación (Ojeda & Velasco, 2012). Realizar la selección del modelo óptimo resulta decisivo para interpretar adecuadamente los datos. Así pues, es crucial para un investigador en el campo educativo resolver las siguientes cuestiones: ¿Cuál es el mejor modelo de todas las alternativas formuladas? ¿Tiene sentido seleccionar un modelo en función del uso posterior que se vaya a dar al mismo?, y es que cuando para una misma evidencia muestral existen múltiples modelos candidatos, surge la problemática de la selección (Vallejo et al., 2010, 2011b). Recientemente se han realizado numerosas investigaciones cuyo objetivo principal ha sido localizar el mejor modelo multinivel bajo distintos escenarios. Por ejemplo, los trabajos de Gurka (2006) y Wang y Schaalje (2009) se centraron en seleccionar el mejor modelo de medias, dada una particular estructura de varianzas y covarianzas; los estudios de Ferron, Dailey y Yi (2002), y Vallejo, Ato y Valdés (2008) mostraron la capacidad de seleccionar el modelo correcto de covarianza cuando la estructura de medias del modelo era conocida; y la capacidad de seleccionar simultáneamente la correcta estructura de medias y de covarianza en los modelos, también fue examinada (Gurka, 2006). Sin embargo, a pesar de la gran variedad de estudios existentes basados en la estrategia de comparación de modelos en distintos escenarios y con diferentes enfoques para evaluar la bondad de ajuste del modelo final a los datos, actualmente no hay un consenso sobre lo que constituye la herramienta más adecuada para elegir el mejor modelo multinivel. No obstante, en términos generales se puede expresar que todas las investigaciones convergen en que, independientemente del criterio de selección utilizado, la elección del modelo óptimo prospera cuando el tamaño de muestra aumenta en los diseños transversales, cuando aumentan el tamaño de muestra y el número de medidas repetidas en los diseños longitudinales, y en ambos escenarios, cuando la complejidad del modelo disminuye. Por todo ello es necesario el estudio pormenorizado de la fase de ajuste del proceso de modelado estadístico multinivel y de los criterios existentes para dicho ajuste. En este sentido, el objetivo central de esta Tesis es evaluar el desempeño de una amplia variedad de estrategias de bondad de ajuste para elegir el modelo que mejor se aproxima al verdadero proceso generador de los datos en distintas condiciones de estudio. A tal fin se llevan a cabo 4 investigaciones. En tres de ellas se pone a prueba el rendimiento de diversos Criterios de Información implementados en el módulo PROC MIXED del programa SAS. Dos de estas investigaciones yacen sobre diseños longitudinales y dos sobre diseños transversales. Brevemente, y en ese mismo orden, en el primer estudio se compara el desempeño del test de ajuste condicional LRT y varias versiones de los Criterios de Información (AIC, AICC, BIC, CAIC, y HQIC) para seleccionar estructuras de medias y de covarianzas anidadas, asumiendo conocido el verdadero proceso generador de los datos. En el segundo trabajo, se examina el rendimiento de los Criterios de Información (AIC, AICC, BIC, CAIC, y HQIC) para seleccionar simultáneamente estructuras de medias y de covarianzas no anidadas, cuando se incumplen los supuestos distribucionales del modelo y existe un alto porcentaje de datos faltantes en los diseños estudiados. La tercera investigación consiste en encontrar la mejor estrategia (AIC, AICC, CAIC, HQIC, cAIC -AIC condicional- y DIC -Criterio de Información de la Desvianza Bayesiano) para seleccionar el modelo multinivel que mejor se aproxima al proceso generador de los datos en un escenario donde se manipulan el número de grupos, el tamaño de los grupos y la correlación intra-clase, entre otras variables. Por último, en el cuarto trabajo se realiza un estudio cross sectional expost facto en el Campo de la Educación, cuyos resultados son analizados desde la propia perspectiva multinivel. Los resultados encontrados, publicados en 4 artículos científicos, se resumen de la manera que a continuación sigue. En el primer artículo (Vallejo, Fernández, Livacic-Rojas, & Tuero-Herrero, 2010), se pone de manifiesto que el desempeño del criterio de ajuste condicional LRT basado en el estimador de máxima verosimilitud completa MV es superior al resto de criterios examinados. Los Criterios de Información Eficientes (AIC y AICC) funcionan mejor cuando los patrones de covarianza estudiados son complejos y peor cuando son simples. Al contrario sucede para los Criterios de Información Consistentes (BIC, CAIC y HQIC), que rinden mejor cuando los patrones de covarianza son simples y peor cuando son complejos. En el segundo artículo (Vallejo, Fernández, Livacic-Rojas, & Tuero-Herrero, 2011b), se corrobora lo encontrado en el estudio previo, esto es, que para seleccionar el modelo correcto los Criterios de Información Eficientes se comportan mejor cuando los patrones de covarianza utilizados para generar los datos son más complejos y viceversa para los Criterios de Información Consistentes. A su vez, el desempeño de éstos últimos (BIC, CAIC y HQIC) es mayor cuando se basan en el número total de individuos (nivel 2) que en el número total de observaciones (nivel 1). Los resultados también indican que dado un conjunto de datos con valores perdidos, los Criterios de Información Eficientes (AIC y AICC) se ven más afectados que los Criterios de Información Consistentes a la falta de normalidad. En el tercer artículo (Vallejo, Tuero-Herrero, Núñez, & Rosário, en prensa), ninguno de los criterios de selección (marginales-condicionales y clásicos-bayesianos) se comporta adecuadamente en todas las condiciones ni es consistentemente mejor que los otros. Con respecto al tamaño de muestra a la hora de seleccionar el mejor modelo, es más importante un gran número de grupos (NG) que un gran tamaño de grupos (TG) (sugiriéndose NG 50 y N/NG 20, siendo N NG TG). La correlación intra-clase afecta al rendimiento de los criterios de selección, pero la magnitud de esa influencia es relativamente menor en comparación con los valores de los parámetros y con la correlación de los efectos aleatorios. Al igual que en las investigaciones anteriores, los Criterios de Información Eficientes funcionan mejor para los efectos aleatorios correlacionados (patrones de covarianza más complejos) y los Criterios de Información Consistentes para los efectos no correlacionados (patrones de covarianza más simples). Globalmente, el criterio que tiene un mejor desempeño es el AIC condicional (cAIC) seguido del AIC marginal (AIC). El cuarto artículo (Núñez, Vallejo, Rosário, Tuero-Herrero, & Valle, en prensa), constituye una aplicación de análisis multinivel a un estudio de campo. Los resultados ponen en relieve la importancia de la interacción entre cómo enseñan los profesores (variable del nivel profesor, nivel 2), cómo aprenden los estudiantes, y el rendimiento académico obtenido (variables del nivel estudiante, nivel 1). También se constata que la mayor parte de la variabilidad en el rendimiento de la asignatura estudiada (Biología) está asociada con variables tomadas a nivel estudiante (el 85,6%), mientras que las variables tomadas a nivel de clase únicamente aportan un 14,4% de la misma. Uno de los aportes más relevantes de este último trabajo es la aplicación del conocimiento que ofrecen los Modelos Multinivel a la evaluación de los estudios en el Campo de la Educación. Se aporta conocimiento de esta técnica de análisis en dos sentidos. De una parte, se conceptualiza la técnica describiéndose de manera rigurosa y detallada. Y de otra, se explica el proceso de modelado estadístico multinivel de forma precisa. Ambas partes se revelan como una contribución pedagógica indispensable para las exigencias actuales en la investigación educativa. Finalmente los resultados obtenidos en estos estudios se discuten planteándose nuevas líneas de trabajo que no se encuentran muy alejadas de las investigaciones que aquí se presentan.