ORIGINAL BREVE
Análisis psicométrico de un cuestionario para medir el ambiente educativo en una muestra de estudiantes de medicina en Perú
Psychometric analysis of a questionnaire to measure the educational environment in a sample of medical students in Peru
Oscar Flores-Flores1,a, Yasmín Lajo-Aurazo1,b, Alejandro Zevallos-Morales1,b, Paola L. Rondán1,c, Frank Lizaraso-Soto1,d, Tamara Jorquiera1,e
1
Facultad de Medicina Humana, Universidad de San Martín de Porres, Lima,
Perú.
a Médico cirujano, magíster en Salud Global y Desarrollo; b
estudiante de Medicina Humana; c médico cirujano; d
médico cardiólogo, doctor en Medicina; e médico cirujano,
magíster en Ciencias Básicas.
RESUMEN
El objetivo del estudio fue determinar las propiedades psicométricas del cuestionario Dundee Ready Education Environment Measure (DREEM) en estudiantes de una facultad de Medicina peruana. Los participantes fueron los alumnos de primero a sexto año, invitados a participar mediante una plataforma web. En el análisis se utilizó el coeficiente alfa de Cronbach para evaluar consistencia interna. Además, se realizó un análisis factorial confirmatorio para evaluar la validez de constructo de las subescalas del DREEM. Los índices de bondad de ajuste utilizados fueron: error cuadrático medio de aproximación (RMSEA), el índice de ajuste comparativo (CFI), índice Tucker-Lewis (TLI) y el residuo estandarizado cuadrático medio (SRMR). Los resultados mostraron que la dimensión Autopercepción Social tuvo un alfa de Cronbach menor a 0,70. Además, los índices de bondad no apoyaron la estructura de cinco dimensiones del DREEM. Como conclusión, el cuestionario DREEM no tuvo un desempeño óptimo en esta muestra peruana.
Palabras Clave: Educación Médica, análisis factorial, pregrado (fuente: DeCS BIREME).
ABSTRACT
The objective of the study was to determine the psychometric properties of the Dundee Ready Education Environment Measure (DREEM) questionnaire in students of a Peruvian medical school. Participants were first-to-sixth-year students, invited to participate through a web platform. In the analysis the alpha coefficient of Cronbach was used to evaluate internal consistency. In addition, a confirmatory factorial analysis was performed to evaluate the construct validity of the subscales of the DREEM. The adjustment quality indexes used were: Root Mean Square Error Approximation (RMSEA), the Index of Benchmarking (CFI), Tucker-Lewis Index (TLI), and the Standardized Root Mean Residual (SRMR). The results showed that the social self-perception dimension had an alpha of Cronbach of less than 0.70. In addition, the quality indices did not support the five-dimensional structure of the DREEM. In conclusion, the DREEM questionnaire did not perform optimally in this Peruvian sample.
Key Words: Medical education, factorial analysis, undergraduate (source: MeSH NLM).
INTRODUCCIÓN
Existe evidencia que el ambiente educativo percibido por los estudiantes influye significativamente en la relación enseñanza-aprendizaje (1) y tiene un gran impacto en su bienestar y futuro éxito profesional (2,3). El ambiente educativo hace referencia a las diversas interacciones, formales e informales, que suceden entre personas con intereses en común (profesores, estudiantes, trabajadores), bajo una estructura organizacional (4). Debido a su complejidad e importancia, la Federación Mundial de Educación Médica (WFME, en inglés) ha impulsado a las instituciones a evaluar su ambiente educativo periódicamente, con el fin de potenciar sus fortalezas y compensar sus debilidades (5). En respuesta, educadores e investigadores han generado diversos instrumentos para medir el ambiente educativo (6,7), siendo el Dundee Ready Education Environment Measure (DREEM), el más usado a nivel mundial (8).
El diseño y validación inicial del DREEM se llevó a cabo mediante la metodología de teoría fundamentada (Grounded Theory) y un panel Delphi de alrededor de 100 educadores médicos, con una muestra de diversos países que incluyó México, Argentina y Chile (9). El cuestionario DREEM brinda un puntaje o score global sobre el ambiente educativo percibido por los estudiantes y tiene 5 dominios o subescalas: percepción de aprendizaje, percepción de los profesores, autopercepción académica, autopercepción social y percepción de la atmósfera. Este cuestionario permite, principalmente: (i) generar un "perfil" de una institución, indicando sus fortalezas y debilidades; (ii) realizar análisis comparativos de la percepción de los estudiantes, tanto dentro como entre instituciones, y (iii) evaluar la correlación entre resultados académicos y el ambiente educativo (3,8,10).
El cuestionario DREEM fue diseñado para ser culturalmente no específico (8), es decir, que su rendimiento no varíe de forma excesiva en distintos escenarios. Desde su validación en 1997, esta escala ha sido traducida a más de nueve idiomas, incluyendo la lengua española. Sin embargo, estudios recientes han cuestionado la validez del constructo interno del DREEM en poblaciones de Irlanda, Suecia y Chile (1,11). En Perú, el único estudio que ha utilizado el DREEM presentó los resultados de su institución sin profundizar sobre el rendimiento del cuestionario en esa muestra peruana (12).
En febrero de 2017, el Ministerio de Salud peruano presentó un informe sobre la situación de la educación médica, cuyos resultados exhortan la detención de la proliferación de facultades de medicina y resaltan la necesidad de mejorar sustancialmente la formación médica (13). Teniendo en cuenta las recomendaciones de la WFME y el contexto peruano actual, es importante no solo evaluar periódicamente el ambiente educativo, sino también tener la certeza que el instrumento utilizado permita una válida y útil evaluación en nuestra población médica en formación. Por ello, al ser el cuestionario DREEM el instrumento más usado, nuestro objetivo fue explorar sus propiedades psicométricas en una facultad de medicina peruana, con el fin de justificar su uso e interpretación en posteriores estudios.
EL ESTUDIO
METODOLOGÍA
Estudio transversal realizado en la Facultad de Medicina Humana de la Universidad de San Martín de Porres. La población objetivo se conformó con los alumnos matriculados de primero a sexto año académico. Todos ellos fueron invitados a participar mediante el aula virtual de la facultad de medicina, el cual es revisado constantemente para la realización de tareas y exámenes. La recolección de datos fue realizada en el período de abril a octubre de 2015. Se consideró para el análisis solo los cuestionarios que fueron completamente respondidos.
CUESTIONARIO DREEM
El cuestionario DREEM consiste en una escala Likert de 50 ítems distribuidos en sus cinco dominios: percepción de aprendizaje (12 ítems); percepción de los profesores (11 ítems); autopercepción académica (8 ítems); percepción de la atmósfera (12 ítems), y autopercepción social (7 ítems). Las posibles respuestas de cada enunciado tienen un valor o puntaje mostrado: completamente de acuerdo (4 puntos); de acuerdo (3 puntos); no está seguro o no opina (2 puntos); en desacuerdo (1 puntos), y completamente en desacuerdo (0 puntos). Sin embargo, nueve ítems tienen un enunciado negativo, por lo cual el puntaje se contabiliza de forma inversa. El puntaje mínimo global es 0 y el máximo es 200 puntos.
Los resultados del DREEM pueden ser analizados en tres niveles: por ítems, por subescalas y por la escala global. Cada subescala y la escala global tienen 4 puntos de corte, con una interpretación sugerida (Tabla 1).
Para este estudio se utilizó la versión en español validada en Chile (14). Previo a la recolección de datos, se realizó un piloto con 15 estudiantes de Medicina para evaluar la adecuada comprensión de los enunciados. Este piloto fue conducido de forma virtual y se les pidió a estos estudiantes no participar en el estudio oficial. Se realizaron mínimas modificaciones a algunos enunciados para reforzar su comprensión en nuestro medio (Anexo 1).
ANÁLISIS PSICOMÉTRICO
Para medir la consistencia interna de la escala global y las subescalas, se calculó el coeficiente alfa de Cronbach considerando valores aceptables entre 0,70 a 0,95 (15). A continuación, se realizó un análisis factorial confirmatorio (AFC) para evaluar la validez de constructo. Se calcularon los coeficientes y cuatro índices de bondad de ajuste: error cuadrático medio de aproximación (RMSEA); el índice de ajuste comparativo (CFI); el índice Tucker-Lewis (TLI) y el residuo estandarizado cuadrático medio (SRMR). Un índice SRMR menor a 0,05 indica un buen ajuste, y uno entre 0,05 y 0,08 se considera aceptable. Por otro lado, un RMSEA menor 0,07 indica un ajuste adecuado (16). Los valores CFI y TLI superiores a 0,90 se interpretan como un ajuste óptimo (17). Finalmente, se generó una matriz de correlación del cuestionario para observar el grado de independencia entre las dimensiones. Todos los análisis fueron realizados en el programa estadístico STATA v.13 para Windows (StataCorp, College Station, TX, US)
Antes de la realización del estudio, el Comité Institucional de Ética e Investigación de la Universidad de San Martín de Porres aprobó la realización del estudio. La participación fue voluntaria, las respuestas fueron registradas y almacenadas anónimamente.
RESULTADOS
De un total de 2421 estudiantes matriculados de primero a sexto año de medicina, 911 (37,6%) empezaron el cuestionario, pero solo 828 (32,4%) lo llenaron completamente. La tasa de respuesta por año académico fue: primer año (31,2%), segundo año (41,7%), tercer año (24,1%), cuarto año (39,8%), quinto año (44,3%) y sexto año (29,8%). La edad promedio de los participantes fue 20,6 (DS 2,5) y 489 (59,1%) de los participantes fueron mujeres.
Respecto a las propiedades psicométricas básicas del cuestionario DREEM, las medias y las desviaciones estándar se mostraron dentro de rangos esperados de la escala (Tabla 1). De las cinco subescalas del cuestionario DREEM, una (autopercepción social) tuvo un coeficiente alfa de Cronbach menor a 0,70. El resto de subescalas y la escala total mostraron valores de alfa de Cronbach aceptables (Tabla 1).
Los coeficientes del AFC se muestran en la Tabla 2 y los índices de bondad de ajuste en la Tabla 3. De los cuatro índices, solo el SRMR alcanzó valores aceptables. CFI y TLI mostraron valores muy por debajo de lo requerido (>0,90). Adicionalmente, realizamos un AFC sin la escala autopercepción social y los resultados de los índices no variaron.
La matriz de correlación (Tabla 4) mostró que las subescalas tienen un grado de correlación de moderado a alto (rho >0,5), con todos los coeficientes de Pearson significativos (p<0,001).
DISCUSIÓN
En el análisis factorial confirmatorio del cuestionario DREEM se evidenció problemas en la validez de la construcción de las subescalas. Además, aunque la consistencia interna de toda la escala resultó óptima, en las subescalas los resultados fueron variados, con una subescala (autopercepción social) con una confiabilidad deficiente.
El coeficiente alfa de Cronbach se utiliza para confirmar si un grupo de ítems miden una dimensión particular, y tiende a ser menor cuando la dimensión tiene pocos ítems (15). Por ello, se podría esperar un menor valor de Cronbach en la subescala con menos ítems (autopercepción social). Sin embargo, esto no parece ser la única razón, teniendo en cuenta que la dimensión autopercepción académica con solo un ítem más, alcanza un coeficiente aceptable. Además, esta limitación ha sido un hallazgo constante en los estudios que han utilizado el cuestionario DREEM (10,11,18). Por lo tanto, los investigadores deben referirse a esta dimensión con mucha precaución.
Por otro lado, la construcción de las subescalas del cuestionario genera dudas. Aunque el índice SRMR presentó valores aceptables, se recomienda que los instrumentos presenten óptimos valores en más de un índice, porque estos representan diferentes aspectos del modelo (16). Además, la alta correlación entre las dimensiones resalta su interrelación y poca independencia.
Sin embargo, cabe resaltar que la correlación entre los factores (subescalas) en nuestro estudio fue menor que en otro estudio realizado en una universidad de Irlanda, aunque con una menor muestra (11). Nuestros hallazgos van acordes con estudios recientes que cuestionan la construcción de las subescalas del cuestionario DREEM, y que sugieren replantear o reducir las dimensiones del instrumento (1,11,19), lo cual parece necesario.
No creemos que nuestros resultados hayan sido influenciados por alguna adaptación del lenguaje debido a que se usó la versión validada al español, bastante extendida en Chile (2), y además, porque en nuestro piloto mostró buen entendimiento por parte de los estudiantes.
Una solución simple a los inconvenientes presentados en la escala DREEM sería eliminar los ítems con menor confiabilidad. Sin embargo, creemos que un cambio de estructura, requiere una revisión y discusión teórica, como fue inicialmente diseñado el DREEM (9). Además, para determinar una nueva estructura se debe realizar un análisis factorial exploratorio, con una muestra peruana más representativa, incluyendo estudiantes de Medicina de diferentes regiones.
Este estudio es importante porque permitirá a los educadores e investigadores una mejor comprensión de las propiedades, ventajas y desventajas de usar el instrumento DREEM en el Perú, lo cual, facilitará su correcto uso. Además, este estudio plantea la posibilidad de redefinir los dominios del DREEM en estudios posteriores, y alienta a los investigadores peruanos a analizar las propiedades psicométricas de los instrumentos tipo escala de Likert que se utilizan con frecuencia. Nuestro estudio tiene fortalezas y debilidades.
Como fortaleza principal destaca el análisis detallado de las propiedades psicométricas del instrumento, el cual se limita, usualmente, a la presentación de los coeficientes alfa de Cronbach. Dentro de las limitaciones podemos mencionar la baja tasa de respuesta (<40%) de los estudiantes, que es una limitante común en estudios conducidos de forma virtual. Además, debido a que el DREEM consta de 50 preguntas, era esperable que un porcentaje no termine de llenarla.
Como conclusión, nuestros resultados muestran que la construcción de los dominios del DREEM presenta falencias, especialmente en la subescala de autopercepción social, y sugiere que el cuestionario DREEM requiere una revisión de su estructura factorial. Son necesarios estudios que evalúen el ambiente educativo, tomando en cuenta que la formación médica repercute directamente en el sistema de salud. Sin embargo, si investigadores o educadores deciden utilizar el DREEM en Perú, deben tener en cuenta sus limitaciones, mostrar las propiedades psicométricas encontradas en su muestra e interpretar cuidadosamente los resultados.
Contribuciones autoría: OFF, YLA, AZM, TJ y PLR contribuyeron substancialmente en la concepción, diseño del artículo, y en recolección de datos. OF-F, YLA, AZM, PLR, FLS y TJ contribuyeron en el análisis e interpretación de datos. OFF, YLA, AZM y PLR contribuyeron en la redacción del artículo y FLS y TJ en la revisión crítica del contenido. Todos los autores aprobaron la versión final del manuscrito.
Fuentes de financiamiento: estudio autofinanciado por los autores.
Conflictos de interés: OF-F y PLR han sido alumnos y docentes de la Facultad de Medicina de la Universidad de San Martín de Porres. YL-A y AZ-M son estudiantes de dicha casa de estudios. TJ y FL-S son actuales trabajadores y exalumnos de esta facultad.
REFERENCIAS BIBLIOGRÁFICAS
1. Ortega BJ, Perez VC, Ortiz ML, Fasce HE, McColl CP, Torres AG, et al. An assessment of the Dundee Ready Education Environment Measure (DREEM) in Chilean university students. Rev. méd. Chile. 2015;143(5):651-7.
2. Herrera C, Pacheco J, Rosso F, Cisterna C, Aichele D, Becker S, et al. Evaluación del ambiente educacional pre-clínico en seis Escuelas de Medicina en Chile. Rev. méd. Chile. 2010;138:677-84.
3. Miles S, Swift L, Leinster S. The Dundee Ready Education Environment Measure (DREEM): a review of its adoption and use. Med Teach. 2012;39(9):620-34.
4. Palmgren PJ, Laksov KB. Exploring chiropractic students’ experiences of the educational environment in healthcare professional training: a qualitative study. BMC Med Educ. 2015;15(1):128.
5. Olave G, Perez C, Fasce E, Ortiz L, Bastias N, Marquez C, et al. Factores que afectan el ambiente educativo en la formación preclínica de medicina según sus docentes. Rev Med Chile. 2016;144:1343-50.
6. Chan DS. Combining qualitative and quantitative methods in assessing hospital learning environments. Int J Nurs Stud. 2001;38(4):447-59.
7. Feletti GI, Clarke RM. Review of psychometric features of the Medical School Learning Environment Survey. Med Educ. 1981;15(2):92-6.
8. Roff S. The Dundee Ready Educational Environment Measure (DREEM)—a generic instrument for measuring students’ perceptions of undergraduate health professions curricula. Med Teach. 2005;27(4):322-5.
9. Roff S, McAleer S, Harden RM, Al-Qahtani M, Ahmed AU, Deza H. Development and Validation of the Dundee Ready Education Environment Measurement (DREEM). Med Teach. 1997;19(4):295-9.
10. Pales J, Gual A, Escanero J, Tomas I, Rodriguez-de Castro F, Elorduy M, et al. Educational climate perception by preclinical and clinical medical students in five Spanish medical schools. Int J Med Educ. 2015;6:65-75.
11. Hammond SM, O’Rourke M, Kelly M, Bennett D, O’Flynn S. A psychometric appraisal of the DREEM. BMC Med Educ. 2012;12:2.
12. Salcedo MD, Petkvoa-Guerguieva M, Sotomayor CJ, Delgadillo AJ, Pineda MM, Villavicencio GJ, et al. Percepción del clima educacional por estudiantes de odontología en etapa de transición curricular en una muestra peruana. Odontol. Sanmarquina. 2014;17(1):29-34.
13. Ministerio de Salud. No más facultades de medicina y una mejor formación de profesionales. Lima: MINSA; 2017 [cited 2107 15 Marzo].
14. Riquelme A, Oporto M, Oporto J, Méndez J, Viviani P, Salech F, et al. Measuring Students’ Perceptions of the Educational Climate of the New Curriculum at the Pontificia Universidad Catσlica de Chile: Performance of the Spanish Translation of the Dundee Ready Education Environment Measure (DREEM). Educ Health. 2009;22(1):112.
15. Tavakol M, Dennick R. Making sense of Cronbach’s alpha. Int J Med Educ. 2011;2:53-5.
16. Hooper D, Coughlan J, Mullen M. Structural equation modelling: Guidelines for determining model fit. Electronic Journal of Business Research Methods. 2008;6(1):53-60.
17. Fernandez-Villa T, Molina AJ, Garcia-Martin M, Llorca J, Delgado-Rodriguez M, Martin V. Validation and psychometric analysis of the Internet Addiction Test in Spanish among college students. BMC Public Health. 2015;15:953.
18. Dimoliatis ID, Vasilaki E, Anastassopoulos P, Ioannidis JP, Roff S. Validation of the Greek translation of the Dundee Ready Education Environment Measure (DREEM). Educ Health. 2010;23(1):348.
19. Jakobsson U, Danielsen N, Edgren G. Psychometric evaluation of the Dundee Ready Educational Environment Measure: Swedish version. Med Teach. 2011;33(5):e267-74.
ANEXOS
Anexo 1. Cuestionario DREEM en español
1. Se me estimula a participar en clase.
2. Los docentes conocen las materias que dictan.
3. Hay un buen sistema de apoyo para los estudiantes que sufren de estrés.
4. Estoy demasiado cansado para disfrutar los cursos que estoy tomando.
5. Los métodos de estudio que tenía antes todavía me sirven.
6. Los docentes tienen paciencia con los pacientes.
7. La enseñanza es frecuentemente estimulante.
8. Los docentes ridiculizan a los estudiantes.
9. Los docentes son autoritarios.
10. Tengo la confianza de que voy a pasar este año.
11. El ambiente es relajado durante las visitas docentes de los servicios hospitalarios.
12. Los horarios de la facultad están bien programados.
13. La enseñanza es centrada en el estudiante.
14. Rara vez me aburro en los cursos que estoy tomando.
15. Tengo buenos amigos en la facultad.
16. La enseñanza que se me brinda me ayuda a desarrollar mis competencias.
17. En la facultad, la copia en los exámenes constituye un problema.
18. Los docentes tienen buenas destrezas comunicacionales con los pacientes.
19. Mi vida social es buena.
20. La enseñanza está bien enfocada.
21. La enseñanza en la facultad está suficientemente preocupada de desarrollar mi confianza.
22. Siento que me están preparando bien para mi profesión.
23. El ambiente es tranquilo y relajado durante las clases teóricas en el aula.
24. El tiempo destinado a la docencia es bien utilizado.
25. La enseñanza en la facultad pone demasiado énfasis en el aprendizaje de detalles innecesarios.
26. Lo aprendido el año pasado fue una buena base para el trabajo de este año.
27. Soy capaz de memorizar todo lo que me es necesario.
28. Rara vez me siento solo.
29. Los docentes son buenos dando feedback (retroalimentación) a los estudiantes.
30. Tengo oportunidades para desarrollar mis habilidades interpersonales (actividades que me permiten relacionarme con los demás).
31. He aprendido mucho sobre la empatía en mi profesión.
32. En la facultad, los profesores nos hacen críticas constructivas.
33. Me siento cómodo, socialmente, en clases.
34. El ambiente en los seminarios, clases y prácticas es tranquilo.
35. Hasta el momento, mi experiencia en la facultad ha sido desalentadora.
36. En general, soy capaz de concentrarme bien.
37. Los docentes dan ejemplos claros.
38. Tengo claros los objetivos de aprendizaje de mis cursos.
39. Los docentes se molestan y alteran en clase.
40. Los docentes están bien preparados para sus clases.
41. La facultad me ayuda a desarrollar mis destrezas para resolver problemas.
42. El disfrute de mis estudios en la facultad pesa más que la tensión que estos me generan
43. El ambiente de .la facultad me motiva a aprender.
44. La manera de enseñar me estimula a aprender por mí mismo en forma activa.
45. Mucho de lo que tengo que aprender me parece relevante para mi carrera como médico.
46. Los ambientes físicos de la facultad son agradables.
47. En la facultad, se enfatiza el aprendizaje a largo plazo por sobre el inmediato.
48. La enseñanza de la facultad está demasiado centrada en los docentes.
49. Los estudiantes causamos irritación a los docentes.
50. Siento que puedo hacer todas las preguntas que quiero.
Correspondencia: Oscar Flores-Flores
Dirección: Calle Fra Angelico 233, Urb. La Calera de la Merced,
Surquillo. Lima, Perú.
Teléfono: (+511) 934901717
Correo electrónico:
oscargffu@gmail.com
Recibido:
20/01/2017
Aprobado: 05/04/2017
En línea: 28/06/2017