Utilidad de los métodos de pretest cognitivo para optimizar la calidad de los cuestionarios y aportar evidencias de validezuna aproximación de investigación mixta

Resumen

El estudio de la calidad de las mediciones aportadas por los instrumentos de evaluación ha tenido una gran relevancia en el contexto de la investigación por encuestas y de la evaluación psicológica. Desde ambas perspectivas se ha planteado la necesidad de desarrollar procedimientos que optimicen la elaboración de tests y cuestionarios, y aumenten la calidad de la información que aportan. El desarrollo de estos procedimientos, focalizados en incrementar la calidad de la información, ha estado ligado al avance de las necesidades emergentes en el campo aplicado, que a su vez han estado marcadas por la evolución del propio concepto de validez. La actual concepción de la validez señala entre las fuentes de evidencias las basadas en el proceso de respuesta de los participantes. Los Standards for educational and psychological testing (APA, AERA y NCME, 1999), especifican que este tipo de evidencias debe extraerse del análisis de respuestas individuales, lo que señala los métodos de pretest cognitivo como una alternativa adecuada. Por otra parte, los Standards también aluden a la necesidad de acumular evidencias tanto cuantitativas como cualitativas, lo que refuerza la tendencia actual a la combinación de procedimientos recogida en los fundamentos de la investigación mixta (o Mixed Research). La investigación mixta plantea un esquema para abordar el estudio de los problemas que surgen en el campo de la investigación, mediante la combinación de procedimientos cuantitativos y cualitativos con el fin de que dicha combinación nos acerque a una mejor respuesta. Por ello, en esta tesis se han aplicado diseños propios de la investigación mixta para abordar problemas aplicados como, por ejemplo, la evaluación de la calidad de las respuestas de los informantes proxy (personas que responden a las preguntas pensando en la situación de otra persona), la utilidad de las Entrevistas Cognitivas (EC) para interpretar resultados psicométricos y procedentes del análisis del Funcionamiento Diferencial de los Ítems (DIF), o la búsqueda de las causas del DIF. El objetivo general de la tesis es plantear la evaluación de la calidad de las mediciones aportadas por escalas y cuestionarios, mediante diseños de investigación mixtos en los que los métodos de pretest cognitivo y los métodos psicométricos se combinen con el fin de obtener evidencias de validez basadas en los procesos de respuesta. Para alcanzar este objetivo se han planteado cinco estudios, cuyas características y resultados principales se describen a continuación. El objetivo del Estudio 1 fue mostrar la utilización de la Codificación del Comportamiento (CC) para evaluar la calidad de las respuestas proporcionadas por informantes proxies. Para ello, se administró un cuestionario a personas que convivían con discapacitados y que respondieron sobre las limitaciones que estos tenían. Las respuestas de los informantes proxies fueron analizadas con el fin de localizar aspectos problemáticos en las preguntas a partir de las dificultades de los participantes durante la interacción entrevistador-entrevistado. Los resultados mostraron la utilidad de la CC para analizar la calidad de las respuestas ofrecidas por los informantes proxies, lo que resulta relevante en contextos en los que no siempre es posible contactar con los informantes directos y en los que el uso de los proxies ha sido cuestionado. El Estudio 2 surge ante las conclusiones del Estudio 1, cuando se observa que la evaluación de la calidad de las respuestas de los informantes proxies se realiza a partir de la evaluación de la coincidencia entre éstas y las respuestas de los informantes directos, que son consideradas el ¿gold standard¿. El objetivo del estudio fue evaluar la convergencia de las respuestas de informantes directos y proxies a un cuestionario de discapacidad con el fin de valorar las aportaciones de la CC para realizar esta evaluación y ampliar los resultados habituales dando detalles sobre los tipos de desacuerdo. Los resultados señalaron la CC como un método adecuado para evaluar la convergencia entre las respuestas de los informantes, por proporcionar información relevante sobre las características y los motivos del desacuerdo entre informantes. Además se observó una alta convergencia entre las respuestas de los informantes, lograndose altos porcentajes de acuerdo. En el Estudio 3 el objetivo era evaluar la conexión entre los resultados proporcionados por los métodos psicométricos tradicionales y por los métodos de pretest cognitivo. Se utilizaron las respuestas de los participantes a una escala de función familiar para calcular los estadísticos psicométricos habituales, y las respuestas a las pruebas de indagación de las EC para obtener evidencias de los procesos de respuesta realizados para responder. Los resultados mostraron una relación entre ambos tipos de resultados que variaron en la misma dirección, es decir, los datos estadísticos reflejaron las diferencias en las interpretaciones de los participantes. Además se demostró la capacidad de las EC para interpretar resultados psicométricos. En el Estudio 4, se muestra una aplicación de análisis del DIF a los ítems politómicos de escalas actitudinales incluidas en el estudio PISA (Program for International Student Assessment; OECD, 2006). El objetivo del estudio fue proponer una estrategia para la evaluación del DIF basada en la aplicación de dos métodos y dos medidas del tamaño del efecto. Los resultados permitieron seleccionar con un alto de nivel de seguridad los ítems que posteriormente fueron incluidos para desarrollar el Estudio 5. El Estudio 5 se basó en los ítems seleccionados y en la clasificación del tipo de DIF realizada en el estudio anterior. La información sobre las interpretaciones de los participantes se utilizó para comparar los procesos de respuesta entre los participantes de los distintos grupos. A continuación, se conectaron los resultados del DIF con los resultados de las EC con el objetivo de alcanzar una conclusión conjunta sobre las causas del DIF. Los datos mostraron una relación entre los ítems detectados y los procesos de respuesta, que evidenciaron diferencias a la hora de interpretar conceptos y al enmarcar experiencias en un contexto. Las conclusiones formuladas a partir de la integración de estos resultados fueron las siguientes: a) Los métodos de pretest cognitivo son útiles para resolver problemas metodológicos más complejos que los que habitualmente se abordan en la evaluación de los cuestionarios de encuestas . b) Los métodos de prestest cognitivo aportan evidencias de validez valiosas sobre los procesos de respuesta de las personas que responden a los cuestionarios y escalas. c) Utilizar distintos procedimientos dentro de un paradigma de investigación mixta facilita la obtención de conclusiones más ricas que las proporcionadas por los métodos de forma separada.