An ecological view of measurementFocus on multilevel model explanation of differential item functioning

  1. Pamela Woitschach 1
  2. Bruno D. Zumbo 1
  3. Rubén Fernández-Alonso 2
  1. 1 University of British Columbia
    info

    University of British Columbia

    Vancouver, Canadá

    ROR https://ror.org/03rmrcq20

  2. 2 Universidad de Oviedo
    info

    Universidad de Oviedo

    Oviedo, España

    ROR https://ror.org/006gksa02

Revista:
Psicothema

ISSN: 0214-9915,  1886-144X

Año de publicación: 2019

Volumen: 31

Número: 2

Páginas: 194-203

Tipo: Artículo

DIALNET GOOGLE SCHOLAR lock_openAcceso abierto editor

Otras publicaciones en: Psicothema

Resumen

Antecedentes: el tercer Estudio Regional Comparativo y Explicativo informa, analiza y compara los resultados académicos en matemáticas, ciencias y lectura de 15 países latinoamericanos. La validez es el fundamento del procedimiento de prueba y el proceso de validación es clave para el éxito de la evaluación educativa en general. Este estudio metodológico se enfoca desde un punto de vista ecológico que sitúa a la persona, el proceso, el contexto y el tiempo donde se desarrolla la prueba. Estas descripciones señalan eventos específi cos cómo y qué variables a nivel individual, escuela o país pueden dar un entendimiento profundo del proceso de respuesta. El objetivo fue investigar el funcionamiento diferencial del ítem desde un marco ecológico. Método: se analizó la prueba de ciencias aplicada en 2013 a los alumnos de 6º grado, los datos abarcan a 12.657 alumnos, 2.609 escuelas y 15 países. Se realizó una inclusión progresiva de niveles de distribución de la varianza en diferentes modelos de regresión logística Bernoulli. Resultados: los análisis mostraron la presencia de funcionamiento diferencial del ítem en el 32% de la prueba de ciencias. Conclusión: la principal fuente de funcionamiento diferencial del ítem se ve asociado al nivel de desarrollo humano de los países participantes

Referencias bibliográficas

  • American Educational Research Association, American Psychological Association, & National Council on Measurement in Education [AERA, APA, & NCME] (2014). Standards for Educational and Psychological Testing. Washington, DC: American Educational Research Association.
  • Balluerka, N., Gorostiaga, A., Gómez-Benito, J., & Hidalgo, M. D. (2010). Use of multilevel logistic regression to identify the causes of differential item functioning. Psicothema, 22(4), 1018-1025.
  • Balluerka, N., Plewis, I., Gorostiaga, A., & Padilla, J.L. (2014). Examining sources of DIF in psychological and educational assessment using multilevel logistic regression. Methodology, 10(2), 71-79. doi:10.1027/1614-2241/a000076
  • Brincks, A. M., Enders, C. K., Llabre, M. M., Bulotsky-Shearer, R. J., Prado, G., & Feaster, D. J. (2017). Centering predictor variables in three-level contextual models. Multivariate Behavioral Research, 52(2), 149-163. doi:10.1080/00273171.2016.1256753
  • Browne, W., & Draper, D. (2006). A comparison of bayesian and likelihood-based methods for fi tting multilevel models. Bayesian Analysis, 1(3), 473-514. doi:10.1080/00273171.2016.1256753
  • Byrne, B.M., & van de Vijver, F.J.R. (2017). The maximum likelihood alignment approach to testing for approximate measurement invariance: A paradigmatic cross-cultural application. Psicothema, 29(4), 539-551. doi:10.7334/psicothema2017.178
  • Cheema, J. (2017): Cross-country gender DIF in PISA science literacy items. European Journal of Developmental Psychology, 16(2), 152-166. doi: 10.1080/17405629.2017.1358607
  • Chen, M.Y., & Zumbo, B.D. (2017). Ecological Framework of Item Responding as Validity Evidence: An application of Multilevel DIF Modeling using PISA Data. In B. D. Zumbo & A. M. Hubley (Eds.), Understanding and Investigating Response Processes in Validation Research (pp. 53-68). New York, NY: Springer International Publishing.
  • Elosua, P., & Mujika-Lizaso, J. (2013). Invariance levels across language versions of the PISA 2009 reading comprehension test in Spain. Psicothema, 25(3), 390-395. doi:10.7334/psicothema2013.46
  • Enders, C. K., & Tofi ghi, D. (2007). Centering predictor variables in crosssectional multilevel models: A new look at an old issue. Psychological Methods, 12(2), 121-138. doi:10.1037/1082-989X.12.2.121
  • Gadermann, A.M., Chen, Y., Emerson, S.D., & Zumbo, B.D. (2018). Examining validity evidence of self-report measures using differential item functioning: An illustration of three methods. Methodology: European Journal of Research Methods for the Behavioral and Social Sciences, 14(4), 164-175. http://dx.doi.org/10.1027/1614-2241/a000156
  • Gómez Benito, J., Balluerka, N., González, A., Widaman, K., & Padilla, J. L. (2017). Detecting differential item functioning in behavioral indicators across parallel forms. Psicothema, 29(1), 91-95. doi:10.7334/psicothema2015.112
  • Gómez Benito, J., Sireci, S., Padilla, J. L., Hidalgo, M. D., & Benítez, I. (2018). Differential item functioning: Beyond validity evidence based on internal structure. Psicothema, 30(1), 104-109. doi:10.7334/psicothema2017.183
  • Nezlek, J. B. (2017). A practical guide to understanding reliability in studies of within-person variability. Journal of Research in Personality, 69, 149-155. http://dx.doi.org/10.1016/j.jrp.2016.06.020
  • Raudenbush, S., Bryk, A., Cheong, Y. K., Congdon, R., & du Toit, M. (2011). HLM 7 Hierarchical Linear and Nonlinear Modeling. Lincolnwood,IL: SSI Scientific Software International.
  • Swanson, D.B., Clauser, B.E., Case, S.M., Nungester, R.J., & Featherman, C. (2002). Analysis of differential item functioning (DIF) using hierarchical logistic regression models. Journal of Educational and Behavioral Statistics, 27(1), 53-75. doi:10.3102/10769986027001053
  • United Nations Development Programme [UNDP] (2013). Human Development Report 2013. The rise of the South: Human Progress in a Diverse World. New York: UNDP.
  • Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura & la Oficina Regional de Educación para América Latina y el Caribe [UNESCO-OREALC] (2016a). Recomendaciones de políticas educativas en América Latina en base al TERCE [Recommendations for educational policies in Latin America based on TERCE]. Santiago de Chile: UNESCO.
  • Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura & la Oficina Regional de Educación para América Latina y el Caribe [UNESCO-OREALC] (2016b). Reporte técnico tercer estudio regional comparativo y explicativo. TERCE [Technical report third comparative and explanatory regional study. TERCE]. Santiago de Chile: UNESCO.
  • van den Noortgate, W., & de Boeck, P. (2005). Assessing and explaining differential item functioning using logistic mixed models. Journal of Educational and Behavioral Statistics, 30(4), 443-464.
  • Villegas, G., González, N., Sánchez-García, A., Sánchez-Barba, M., & Galindo, M. (2018). Seven methods to determine the dimensionality of test: Application to general self-effi cacy scale in twenty-six countries. Psicothema, 30(4), 442-448. doi: 10.7334/psicothema2018.113
  • Zumbo, B.D. (2007a). Validity: Foundational Issues and Statistical Methodology. In C. R. Rao & S. Sinharay (Eds.), Handbook of Statistics, Vol. 26: Psychometrics (pp. 45-79). The Netherlands: Elsevier Science.
  • Zumbo, B.D. (2007b). Three generations of differential item functioning (DIF) analyses: Considering where it has been, where it is now, and where it is going. Language Assessment Quarterly, 4, 223-233.
  • Zumbo, B.D. (2014). What role does, and should, the test standards play outside of the United States of America? Educational Measurement: Issues and Practice, 33, 31-33.
  • Zumbo, B. D., & Forer, B. (2011). Testing and Measurement from a Multilevel View: Psychometrics and Validation. In J.A. Bovaird, K.F. Geisinger & C.W. Buckendahl (Editors). High Stakes Testing in Education Science and Practice in K-12 Settings (pp. 177-190). Washington, D.C.: American Psychological Association Press.
  • Zumbo, B.D., & Gelin, M.N. (2005). A matter of test bias in educational policy research: Bringing the context into picture by investigating sociological/community moderated (or mediated) test and item bias. Journal of Educational Research and Policy Studies, 5, 1-23.
  • Zumbo, B.D., & Hubley, A. M. (Eds.) (2017). Understanding and Investigating Response Processes in Validation Research. New York, NY: Springer.
  • Zumbo, B.D., Liu, Y., Wu, A.D., Shear, B.R., Astivia, O.L.O., & Ark, T.K. (2015). A methodology for Zumbo’s Third Generation DIF analyses and the ecology of item responding. Language Assessment Quarterly, 12, 136-151.
Fuente de los datos: Dialnet