Fiabilidad y Validez para Un Cuestionario de Satisfacción Con La Formación Continuada en Salud: El Cuestionario de Satisfacción Del Discente
Fiabilidad y Validez para Un Cuestionario de Satisfacción Con La Formación Continuada en Salud: El Cuestionario de Satisfacción Del Discente
Introducción. La formación continuada es el proceso de enseñanza y aprendizaje activo que tiene lugar a lo largo de toda Agencia de Calidad Sanitaria de
Andalucía; Fundación Progreso y
la vida profesional. Valorar el grado de satisfacción con dicho proceso se presenta como una tarea necesaria. Si bien la Salud (T. Esposito, F.J. Muñoz-Castro,
mayoría de cuestionarios que evalúan la satisfacción del alumnado contemplan las diferentes dimensiones del proceso M. Herrera-Usagre, M. Periáñez-
formativo como la metodología empleada, la adecuación de los contenidos o la calidad de los docentes, no todos han Vega). Departamento de Sociología;
Universidad de Sevilla (M. Herrera-
comprobado la fiabilidad y validez de los mismos. El objetivo del estudio es observar las características psicométricas del Usagre). Sevilla, España.
cuestionario de satisfacción del discente (CSD) enmarcado en la herramienta ‘eValúa’ de la línea de proyectos para el de-
Correspondencia:
sarrollo profesional continuo de la Agencia de Calidad Sanitaria de Andalucía, España. Dr. Manuel Herrera Usagre. Agencia
de Calidad Sanitaria de Andalucía.
Sujetos y métodos. Análisis estadísticos de las puntuaciones del CSD (n = 1.628), usando análisis de fiabilidad, análisis de
Augusto Peyré, 1. Edificio Olalla,
componentes principales y correlaciones de los factores. 3.ª planta. E-41020 Sevilla.
Resultados. El CSD fue muy fiable, con un α de Cronbach global de 0,979. Las dimensiones del cuestionario mostraron Fax:
cargas factoriales elevadas (Utilidad: R = 85,9; α = 0,91. Metodología: R = 77,4; α = 0,95. Organización y recursos: R = +34 955 023 901.
73,25; α = 0,92. Capacidad docente: R = 90; α = 0,97. Valoración global: R = 96,6; α = 0,96). Las dimensiones ‘utilidad’ E-mail:
y ‘metodología’ fueron las que presentaron niveles de correlación más altas con la totalidad del cuestionario y con las dos [Link]@
[Link]
preguntas de valoración global con la formación.
Conclusiones. El CSD se presenta como una herramienta fiable y válida para la medición de la satisfacción con la forma- Conflicto de intereses:
No declarado.
ción continuada en salud. Dadas las altas correlaciones ítem-total que presentaron algunos ítems, se propone repasar su
diseño para evitar concurrencias entre preguntas. Competing interests:
None declared.
Palabras clave. Aprendizaje. Fiabilidad y validez. Formación continuada. Psicometría. Satisfacción.
© 2015 FEM
Reliability and validity of a continuous training satisfaction questionnaire in health: the Learning Satisfaction
Questionnaire
Introduction. Continuing training is conceived as the learning and permanent asset process to which all health professionals
are entitled and obliged. Although most questionnaires that assess participants satisfaction look at the different dimensions
of the learning process, such as methodology used, content appropriateness or teachers performance quality, not all have
proven its reliability and validity. The aim of the study is to observe the psychometric characteristics of Teaching Satisfaction
Questionnaire (CSD) framed in the evaluation tool ‘eValúa’, designed by the Continuing Professional Development Project
of the Andalusian Agency for Healthcare Quality (Spain).
Subjects and methods. Statistical analysis of the scores of CSD with a sample of 1628 cases using reliability analysis, principal
component analysis, and correlation of the factors that are derived from the five dimensions that make up the questionnaire.
Results. The CSD was highly reliable with an overall Cronbach’s α of 0.979. The dimensions of the questionnaire showed
high factor loadings (Utility: R = 85.9; α = 0.91. Methodology: R = 77.4; α = 0.95. Organization and resources: R = 73.25;
α = 0.92. Teaching capacity: R = 90; α = 0.97. Global satisfaction: R = 96.6; α = 0.96). The ‘utility’ and ‘methodology’
dimensions were those that showed the highest levels of correlation with both the entire questionnaire and the two
global satisfaction questions.
Conclusions. The CSD is presented as a reliable and valid tool for measuring satisfaction with continuing education in
health. Given the high item-total correlations some items showed, a review of the questionnaire design is proposed to
avoid concurrency between questions. Future analysis of the differences in satisfaction with training according to different
socio-professional characteristics was raised.
Key words. Continuous education. Psychometrics. Satisfaction. Reliability and validity.
3. Voy a poder aplicar los conocimientos adquiridos en mi práctica profesional 8,24 1,77 0,873 0,956
10. Las tutorías desarrolladas me han permitido resolver mis dudas y consultas 8,22 1,95 0,876 0,942
13. Las instalaciones físicas o virtuales han facilitado el desarrollo de la actividad 8,12 1,82 0,812 0,916
Organización
0,923 73,257
y recursos 14. La duración de la actividad ha resultado adecuada
7,98 1,94 0,836 0,912
para adquirir los objetivos que se proponían al inicio
17. Los/as docentes han mostrado tener dominio de los contenidos que han impartido 8,93 1,37 0,933 0,969
22. En general, estoy satisfecho/a con el desarrollo de la actividad 8,53 1,54 0,983 a
Valoración
0,964 96,582
global a
23. Recomendaría a otros/as profesionales realizar esta actividad formativa 8,63 1,64 0,983
a Dado que la dimensión sólo tiene dos ítems, este parámetro no ha podido calcularse.
Tabla II. Matriz de correlaciones entre los factores, el cuestionario y preguntas sobre evaluación global.
Utilidad 1
Metodología 0,870 a 1
ap < 0,01.
de 0,91 y los tres ítems de los que se compone lo- ticipantes ante diferentes dimensiones del desarro-
graban explicar un 85,9% de la varianza. El segundo llo de las actividades formativas. Medir la fiabilidad
factor (metodología) presentó un α de Cronbach de y la validez de este instrumento de evaluación se
0,95 y los ítems mostraban una varianza explicada hace vital para poder comprobar su utilidad para
de un 77,4%. El tercer factor (organización y recur- los formadores y crear un ambiente de aprendizaje
sos) obtuvo un α de Cronbach de 0,92 y el conjunto eficaz en el entorno de la salud [15,16]. La utiliza-
de sus ítems lograron explicar un 73,2% de la va- ción del α de Cronbach para los análisis de fiabilidad
rianza del factor. El cuarto factor (capacidad docen- de consistencia interna y del análisis de componen-
te) logró explicar un 90% de su varianza y obtuvo tes principales para la validez de constructo viene
un alfa de Cronbach de 0,97. Finalmente, los ítems avalada por las revisiones de la bibliografía [17].
del último factor (valoración global) lograron expli- Nuestros resultados evidenciaron un alto nivel
car un 96,5% de su varianza y obtuvieron un α de de consistencia interna del instrumento, tal y como
Cronbach de 0,96. En la tabla II se muestra la ma- habían averiguado otros estudios sobre cuestiona-
triz de correlaciones entre las dimensiones, un fac- rios con los mismos propósitos [5-8]. El análisis de
tor compuesto con la totalidad del cuestionario y componentes principales para cada una de las cin-
las dos preguntas de valoración global de la activi- co dimensiones en las que se compone el CSD con-
dad formativa (ítems 22 y 23). Los resultados ponen firmó su validez de constructo. Cada una de las di-
en evidencia la importancia de las evaluaciones so- mensiones mostró porcentajes de varianza explica-
bre la metodología, dado que presenta el nivel de da del 73-96%. Igualmente, las correlaciones ítem-
correlación más alto con la totalidad de las pregun- total, que en nuestro caso coinciden con las cargas
tas. Lograr ver la utilidad de los contenidos y estar factoriales porque no se aplicó ningún tipo de rota-
satisfecho con la metodología empleada son facto- ción en el análisis factorial, se mostraron en todos
res clave de cara a la satisfacción general con el de- los ítems superiores a 0,87. Cuando abordamos las
sarrollo de la actividad formativa. correlaciones de cada una de las dimensiones con la
totalidad del cuestionario se evidenció la importan-
cia de las dimensiones ‘utilidad’ y ‘metodología’. Am-
Discusión bas dimensiones fueron también las que mostraron
una mayor correlación con las dos preguntas sinté-
El propósito de este estudio era validar el CSD co ticas de evaluación global de la actividad formativa
mo herramienta de evaluación de la formación con- (ítems 22 y 23). Este hecho pone de manifiesto la im-
tinuada en salud, atendiendo a la opinión de los par- portancia de realizar un adecuado diseño de la acti-
vidad formativa, contemplando especialmente la des- dición del ambiente educacional. Nuestros resulta-
cripción de su utilidad, y de las herramientas meto- dos han confirmado también una tendencia a la
dológicas y didácticas que van a emplearse para en- unidimensionalidad de todo el cuestionario, dado
tregar los contenidos. que se obtuvieron sólo dos dimensiones con eigen-
Aunque las dimensiones ‘organización y recur- values > 1,0 en lugar de las cuatro que esperaríamos
sos’ y ‘capacidad docente’ también mostraron altas según la estructura del cuestionario, pudiendo el
correlaciones, sus puntuaciones fueron ligeramente primer factor obtenido explicar por sí solo el 69,8%
menores, lo que se traduce en un mayor margen de de la varianza. Este hecho plantea la conveniencia
mejora. No obstante, estos resultados siguen siendo de presentar las preguntas del cuestionario sin or-
congruentes con los obtenidos por Vieira [7] y As- ganizarlas por bloques, lo que permitiría una re-
pegren et al [18], quienes encontraron los aspectos flexión más efectiva por parte del discente.
relacionados con los docentes como los más impor-
tantes en la medición del ambiente educacional, a Limitaciones
tenor de las correlaciones halladas. Por otro lado,
las puntuaciones medias de las valoraciones en este El CSD tiene como objetivo ofrecer una herramien-
estudio se adecuan a los niveles de satisfacción con ta de evaluación para los gestores de la formación.
otros programas de desarrollo profesional continuo Dado que en las actividades de formación conti-
y formación continuada [19-21]. La importancia de nuada el número de participantes no es amplio [23],
medir regularmente estos aspectos es vital a la hora se omiten numerosos datos (edad, titulación, espe-
de introducir cambios en los programas formativos, cialidad, años trabajando en el sistema de salud,
adaptándolos tanto a los requerimientos de las or- etc.) para garantizar la confidencialidad y la sinceri-
ganizaciones como a las necesidades de los partici- dad de la información aportada. No obstante, en
pantes [22]. próximas versiones del cuestionario se ofrecerá apor-
Son notables los estudios recientes que avalan el tar voluntariamente esta información para poder
efecto positivo de la formación continuada en el de- analizar si existen diferencias en los niveles de sa-
sarrollo de las competencias de los profesionales de tisfacción en función de estos factores. Del mismo
la salud de cara a ejercer una práctica profesional modo, en la próxima versión se incluirá la realiza-
basada en la evidencia [23-25]. El análisis aquí apor- ción de un análisis de fiabilidad test-retest para una
tado ofrece la validez y fiabilidad necesarias a cual- muestra de casos.
quier cuestionario que tenga como objetivo proveer
a los organizadores y formadores de un feedback Bibliografía
sistemático por parte los participantes en las activi-
1. Muñoz-Castro FJ, Valverde-Gambero E, Villanueva-Guerrero L,
dades formativas [26]. Mudarra-Aceituno MJ, Vázquez-Vázquez M, Almuedo-Paz A.
Evolución de la formación continuada acreditada tras la puesta
en marcha de la estrategia para la seguridad del paciente.
Aplicaciones prácticas Revista de Calidad Asistencial 2012. URL: [Link]
[Link]/retrieve/pii/S1134282X12000139. [30.07.2012].
Las puntuaciones excesivas del α de Cronbach que 2. Periáñez-Vega M. La evaluación del impacto de la formación.
muestra el propio cuestionario y, en particular, la di- 2013. URL: [Link]
la-evaluacin-del-impacto-de-la-formacin. [02.03.2014].
mensión ‘capacidad docente’ (α de Cronbach > 0,95), 3. Ministerio de Sanidad, Política Social e Igualdad. Proyecto de
indican redundancia en algunas preguntas que po- real decreto por el que se determinan y clasifican las especialidades
drían simplificarse eventualmente en versiones fu- en ciencias de la salud y se desarrollan determinados aspectos
del sistema de formación sanitaria especializada. Madrid; 2003.
turas, tal y como recomienda la bibliografía [27]. La 4. Cantillon P, Jones R. Does continuing medical education in
capacidad docente es uno de los factores que más general practice make a difference? BMJ 1999; 318: 1276-9.
5. Bierer SB, Fishleder AJ, Dannefer E, Farrow N, Hull AL.
influye en la creación de un ambiente de aprendiza- Psychometric properties of an instrument designed to measure
je adecuado [6,9]. Así, en versiones del CSD que se the educational quality of graduate training programs. Eval
encuentran en desarrollo, se está contemplando la Health Prof 2004; 27: 410-24.
6. Herrera CA, Olivos T, Román JA, Larraín A, Pizarro M,
necesidad de desagregar los ítems de esta dimen- Solís N, et al. Evaluation of the educational environment in
sión para que cada uno de los docentes de la activi- medical specialty programs. Rev Med Chil 2012; 140: 1554-61.
dad formativa sea evaluado de manera independien- 7. Vieira JE. The Postgraduate Hospital Educational Environment
Measure (PHEEM) questionnaire identifies quality of instruction
te, en lugar de una evaluación conjunta. Por otro as a key factor predicting academic achievement. Clinics 2008.
lado, el análisis de componentes principales con la URL: [Link]
totalidad del cuestionario ofrece conclusiones idén- S1807-59322008000600006&lng=en&nrm=iso&tlng=en.
[03.02.2014].
ticas a las obtenidas por Boor et al [28] y Vieira [7] 8. Gooneratne IK, Munasinghe SR, Siriwardena C, Olupeliyawa AM,
en sus análisis de validez para cuestionarios de me- Karunathilake I. Assessment of psychometric properties of a
modified PHEEM questionnaire. Ann Acad Med Singap 2008; 19. Curran V, Sargeant J, Hollett A. Evaluation of an interprofessional
37: 993-7. continuing professional development initiative in primary
9. Lozano-Lozano JA, Sanduvete-Chaves S, Chacón-Moscoso S, health care. J Contin Educ Health Prof 2007; 27: 241-52.
Pérez-Gil JA. Elaboration of an instrument to measure the 20. Almuedo-Paz A, Brea-Rivero P, Buiza-Camacho B, Rojas-De
construct ‘satisfaction with the training received. International Mora Figueroa A, Torres-Olivera A. Utilidad de la acreditación
Journal of Social Science Studies 2013. URL: [Link] de competencias profesionales en el desarrollo profesional
[Link]/journal/[Link]/ijsss/article/view/142. continuo. Revista de Calidad Asistencial 2011; 26: 221-7.
[03.02.2014]. 21. Ellencweig N, Weizman A, Fischel T. Factors determining
10. Sanduvete-Chaves S, Holgado-Tello FP, Chacón-Moscoso S, satisfaction in psychiatry training in Israel. Acad Psychiatry
Barbero-García MI. Measurement invariance study of the 2009; 33: 169-73.
Training Satisfaction Questionnaire (TSQ). Span J Psychol 22. López-Rodrigo M. The evaluation of continuous training in
2013; 16: E28. healthcare organisations. A bibliographic review. Rev Enferm
11. OCDE, Joint Research Center. Composite Indicators. 2008. 2012; 35: 22-6, 29-34.
12. Wall D, Clapham M, Riquelme A, Vieira J, Cartmill R, 23. Liabsuetrakul T, Sirirak T, Boonyapipat S, Pornsawat P.
Aspegren K, et al. Is PHEEM a multi-dimensional instrument? Effect of continuous education for evidence-based medicine
An international perspective. Med Teach 2009; 31: e521-7. practice on knowledge, attitudes and skills of medical students.
13. Agencia de Calidad Sanitaria de Andalucía. Programa J Eval Clin Pract 2013; 19: 607-11.
integral para la acreditación de la formación continuada de 24. Deljo E, Babacic R, Meskovic B, Grabus J. Impact of continuous
las profesiones sanitarias unidades y centros de formación education about oral hygiene on the changes of Cpi-index
continuada, programas de actividades de formación continuada, for 12-15-year-old schoolchildren. Acta Informatica Medica
actividades de formación continuada. Sevilla: ACSA; 2008. 2011; 19: 220.
14. Agencia de Calidad Sanitaria de Andalucía. Programa de 25. Kulier R, Gülmezoglu AM, Zamora J, Plana MN, Carroli G,
desarrollo profesional continuo. 2013. URL: http:// Cecatti JG, et al. Effectiveness of a clinically integrated
[Link]/agenciadecalidadsanitaria/ e-learning course in evidence-based medicine for reproductive
formacionsalud/microsite/cms/es/evalua. [02.03.2014]. health training: a randomized trial. JAMA 2012; 308: 2218-25.
15. Clark LA, Watson D. Constructing validity: basic issues in 26. Rattray J, Jones MC. Essential elements of questionnaire
objective scale development. Psychol Assess 1995; 7: 309-19. design and development. J Clin Nurs 2007; 16: 234-43.
16. Yurdugül H. Minimum sample size for Cronbach’s coefficient 27. Streiner DL. Starting at the beginning: an introduction to
alpha: a Monte Carlo Study. HU Journal of Education 2008; coefficient alpha and internal consistency. J Pers Assess 2003;
35: 397-405. 80: 99-103.
17. Wetzel AP. Factor analysis methods and validity evidence: 28. Boor K, Scheele F, Van der Vleuten CPM, Scherpbier AJJA,
a review of instrument development across the medical Teunissen PW, Sijtsma K. Psychometric properties of an
education continuum. Acad Med 2012; 87: 1060-9. instrument to measure the clinical learning environment.
18. Aspegren K, Bastholt L, Bested KM, Bonnesen T, Ejlersen E, Med Educ 2007; 41: 92-9.
Fog I, et al. Validation of the PHEEM instrument in a Danish
hospital setting. Med Teach 2007; 29: 498-500.