Revista Iberoamericana de

Educación a Distancia
La Revista Iberoamericana de la Educación Digital

1
, 202
IO 3
JUL 8-278
2
4 N° : 113
2 N
OL
. ISS
V
 La Revista Iberoamericana de la Educación Digital

2° semestre, julio, 2021

La RIED, además de su formato impreso, se publica en formato electrónico en dos sedes: OJS en UNED de España:
[Link]

Consejo Directivo de AIESAD (Asesor en • Julio Cabero Almenara, Universidad de Sevilla,

RIED) España
• Prof. Manuel Castro, Universidad Nacional de
• Jaime Alberto Leal Afanador. Rector - UNAD, Educación a Distancia, España
Colombia. • Dr. Francisco Cervantes, UNIR, México
• Ricardo Mairal Usón. Rector - UNED, España. • Dra. María Elena Chan Núñez, Universidad de
• Rodrigo Arias Camacho. Rector - UNED, Costa Guadalajara, México
Rica. • Dr. Cristóbal Cobo, Universidad de Oxford, Reino
• Santiago Acosta Aide. Rector - UTPL, Ecuador. Unido
• Francisco Cervantes Pérez. Rector - UNIR, México. • Dra. Grainne Conole, e4innovation, Reino Unido
• Alejandro Villar. Rector - UNQ, Argentina. • Dra. Laura Czerniewicz, University of Cape Town,
• Carla Padrel de Oliveira. Rectora - UAB, Portugal. Sudáfrica
• Ángel Hernández. Rector - UAPA, República • Dr. Carlos Delgado Kloos, Universidad Carlos III
Dominicana de Madrid, España
• Fray José Gabriel Mesa Angulo O.P. Rector - USTA, • Dr. Pierre Dillenbourg, École Polytechnique
Colombia. Fédérale de Lausanne, Suiza
• Laura Alba Juez. Vicerrectora - UNED, España. • Dr. Josep M. Duart, Universitat Oberta de
Catalunya (UOC), España
Director/Editor (Director/Editor-in-Chief)
• Dr. Rubén Edel Navarro, Universidad Veracruzana,
• Dr. Lorenzo García Aretio, Universidad Nacional México
de Educación a Distancia (UNED), España • Dr. Francisco José García Peñalvo, Universidad de
Salamanca, España
Consejo Editorial (Editorial Board) • Dr. Jaime Leal Afanador, Universidad Nacional
Abierta y a Distancia (UNAD), Colombia
• Jordi Adell Segura, Universidad Jaime I, España • Ricardo Mairal Usón, UNED, España
• Dr. José Ignacio Aguaded Gómez, Universidad de • Dr. Carlos Marcelo García, Universidad de Sevilla,
Huelva, España España
• Dra. Luisa Aires, Universidade Aberta, Portugal • Dr João Mattar, Pontificia Universidad Católica de
• Dr. Terry Anderson, Athabasca University, Canadá São Paulo / Centro Universitário Uninter, Brasil
• Manuel Area Moreira, Universidad de La Laguna, • Prof. Rory McGreal, Athabasca University Editor
España de RRODL, Canadá
• Dr. Antonio Bartolomé Pina, Universidad de • Dr. Daniel Mill, Universidade Federal de São
Barcelona, España Carlos (São Paulo), Brasil
• Dr. António Moreira Teixeira, Universidade • Dr. José Manuel Sáez López, Profesor Facultad de
Aberta, Portugal Educación UNED, España
• Dr. Jaime Muñoz Arteaga, Universidad Autónoma • Dra. Carolina Schmitt Nunes, Universidade
de Aguascalientes, México Federal de Santa Catarina, Brasil
• Claudio Rama, IESAL/UNESCO, Venezuela
• Dra. María Soledad Ramírez Montoya, Tecnológico Secretaría Técnica (Technical Secretariat)
de Monterrey, México
• Ing. José Luis García Boyé, AIESAD, España
• Dr. Timothy Read, UNED, España
• Dra. Rosabel Roig Vila, Universidad de Alicante, Consejo de Redacción (Editing Board)
España
• Dr Jesús Salinas Ibáñez, Universidad de las Islas • Dra. Elena Bárcena Madera, UNED, España
Baleares, España • Dra. Carolina Schmitt Nunes, Universidade
• Dra. Ángeles Sánchez-Elvira Paniagua, Federal de Santa Catarina, Brasil
Universidad Nacional de Educación a Distancia • Dr. Salvador Montaner Villalba, Departamento
(UNED), España de Lingüística Aplicada Universitat Politècnica de
• Dr. Albert Sangrá, UOC, España València, España
• Dr. Alan W. Tait, The Open University, Reino • Dra. Ruth Marlene Aguilar Feijoo, Universidad
Unido Técnica Particular de Loja (UTPL), Ecuador
• Dr. Hernán Thomas, Universidad Nacional de • María Luz Cacheiro González, UNED, España
Quilmes, Argentina • Dra. Victoria Khraiche, Universidad Complutense
• Javier Tourón Figueroa, Universidad Internacional de Madrid, España
de La Rioja (UNIR), España • Dra. Noelia Madrid, Universidad de Alicante
• Dr. Martin James Weller, The Open University, • Prof. Juan José Magaña Redondo, UNED, España
Reino Unido • Dr. Nicolás Montalbán Martínez, Universidad de
• Dr. Miguel Zapata Ros, Universidad de Alcalá de Murcia, España
Henares, España • María Gracia Moreno Celeghin, Universidad
Nacional de Educación a Distancia, España
Editores Asociados (Associated Editors) • Dra. Carla Netto, Centro Universitário Newton
Paiva- PUCRS, Brasil
• Dra. María José Rubio, Universidad Técnica
• Dra. Verónica Patricia Sánchez Burneo,
Particular de Loja (UTPL), Ecuador
Universidad Técnica Particular de Loja, Ecuador
• Dra. Elena Bárcena Madera, UNED, España
• Dra. Beatriz Sedano Cuevas, Universidad Nacional
• Dr. Santiago Mengual-Andrés, Universidad de
de Educación a Distancia (Doctora Programa TIC-
Valencia
ETL), España
• Dr. Salvador Montaner Villalba, Departamento
• Mónica Vilhelm, UNED, España
de Lingüística Aplicada Universitat Politècnica de
València, España Apoyo Técnico (Technical Assistance)
• Dr. António Moreira Teixeira, Universidade
Aberta, Portugal • Alexis Moreno-Pulido, Responsable de Biblioteca
• Dra. Carla Netto, Centro Universitário Newton (UNED)
Paiva - PUCRS, Brasil • Sra. Jackeline Alejandro Maza Idania, Universidad
• Lic. Iliana Ramírez Asanza, Universidad Técnica Técnica Particular de Loja (UTPL), Ecuador
Particular de Loja (UTPL), Ecuador
• Dra. María Soledad Ramírez Montoya, Tecnológico Soporte OJS y Publicación digital
de Monterrey, México
• Servicio Publicación y Difusión Digital -
BIBLIOTECA, UNED
 LA REVISTA IBEROAMERICANA DE EDUCACIÓN A DISTANCIA (RIED) SE ENCUENTRA INDIZADA
ACTUALMENTE EN LAS SIGUIENTES BASES DE DATOS Y CATÁLOGOS:

BASES DE DATOS Y PLATAFORMAS DE • Sherpa/Romeo

EVALUACIÓN • Scirus
• Ulrich’s Periodicals (CSA)
• BASE. Bielefeld Academic Search Engine
• CAPES PORTALES Y REPOSITORIOS ESPECIALIZADOS
• CARHUS Plus+
• CCHS-CSIC • Actualidad Iberoamericana
• CEDAL (Instituto Latinoamericano de Comunicación • Asociación Internacional de Estudios en comunicación
Educativa (ILCE) de México) social
• CIRC (Clasificación Integrada de Revistas Científicas) • CLARISE - Comunidad Latinoamericana Abierta
• CiteFactor – Academic Scientific Journals Regional de Investigación Social y Educativa
• CREDI- OEI (Centro de Recursos de la OEI) • [Link]
• Crossref (Metadata Search) • Enlaces educativos en español de la Universitat de
• Dialnet (Alertas de Literatura Científica Hispana) València
• DICE (Difusión y Calidad Editorial de Revistas) • e-sPacio-UNED. Repositorio institucional de la UNED
• EI Compendex • Institut Frnçais de L’éducation
• EBSCO. Fuente Académica Premier • Plataforma de revistas 360º
• ERA. Educational Research Abstracts • Red Iberoamericana de Revistas de Comunicación y
• ERIH-Plus. European Reference Index for the Cultura
Humanities and Social Sciences. • REDIAL & CEISAL
• EZB-Electronic Journals Library Genamics JournalSeek • Universia. Biblioteca de recursos
• HEDBIB (International Bibliographic Database on
Higher Education) CATÁLOGOS DESTACADOS DE BIBLIOTECA
• IN-RECS (Índice de Impacto de Revistas Españolas de
Ciencias Sociales) • 360grados
• IRESIE (Índice de Revistas de Educación Superior e • British Library
Investigación Educativa) • Buz
• ISOC (CSIC/CINDOC) • Catàleg Col·lectiu de les Universitats de Catalunya
• JournalTOCs • Catálogo Colectivo de Publicaciones
• MIAR (Matriz para Evaluación de Revistas) • Periódicas Español CCPP
• ProQuest-CSA • Catálogo de la Biblioteca de Educación (Ministerio de
• Psicodoc Educación, Cultura y Deporte)
• REDIB. Red Iberoamericana de Innovación y • Catálogo del CSIC (CIRBIC)
Conocimiento Científico • CENDOC
• REDALYC. Red de Revistas Científicas de América • CIDE
Latina y el Caribe, España y Portugal • CISNE
• REDINED. Red de Información Educativa • COMPLUDOC
• RESH - Revistas Españolas de Ciencias Sociales (CSIC/ • COPAC (Reino Unido)
CINDOC) • ICDL
• ResearchBib. Academic Resource Index • INRP
• Web of Science (ESCI) • IOE (Institute of Education. University of London)
• WEBQUALIS • Library of Congress (LC)
• KINGS
DIRECTORIOS Y BUSCADORES • MIGUEL DE CERVANTES
• Observatorio de revistas científicas de Ciencias Sociales
• DOAJ • REBIUN
• Dulcinea • SUDOC (Francia)
• Google Scholar • UBUCAT
• LATINDEX (Publicaciones Científicas Seriadas de • UIB
América, España y Portugal) • WORDLCAT (OCLC)
• Recolecta • ZDB (Alemania)

La Asociación Iberoamericana de Educación Superior a Distancia (AIESAD) es una entidad sin ánimo de lucro, constituida por universidades
o instituciones de educación superior que imparten sus ofertas educativas en esta modalidad de enseñanza y promueve el estudio e investigación del
modelo de enseñanza superior a distancia. RIED. Revista Iberoamericana de Educación a Distancia es el instrumento de la AIESAD para la difusión
internacional de los avances en la investigación e innovación dentro del ámbito de la enseñanza y aprendizaje abiertos y a distancia.

RIED. Revista Iberoamericana de Educación a Distancia es una publicación científica que se edita semestralmente los meses de enero y julio. Promueve
el intercambio institucional con otras revistas de carácter científico. La RIED no se hará responsable de las ideas y opiniones expresadas en los trabajos
publicados. La responsabilidad plena será de los autores de los mismos.

“Los textos publicados en esta revista están sujetos a una licencia “Reconocimiento-No comercial 3.0” de Creative Commons. Puede co-
piarlos, distribuirlos, comunicarlos públicamente, siempre que reconozca los créditos de la obra (autor, nombre de la revista, instituciones
editoras) de la manera especificada en la revista.”
VOL. 24 N° 2 Julio, 2021
 Índice
ARTÍCULO EDITORIAL

¿Podemos fiarnos de la evaluación en los sistemas de educación a distancia y digitales?

(Can We Trust Evaluation in Distance and Digital Education Systems?)
García Aretio, L.................................................................................................................................................... 9

MONOGRÁFICO:

Evaluación de la educación digital y digitalización de la evaluación

(Assessing Online Learning and the Digitalization of Assessment)
Barberà-Gregori, E.; Suárez-Guerrero, C. ........................................................................................................ 33

Planning, Communication and Active Methodologies: Online Assessment of the Software Engineering
Subject during the COVID-19 Crisis
(Planificación, comunicación y metodologías activas: Evaluación online de la asignatura ingeniería
de software durante la crisis del COVID-19)
García-Peñalvo, F.; García-Holgado, A.; Vázquez-Ingelmo, A.; Sánchez-Prieto, J. ..................................... 41

Evaluación Remota de Aprendizajes en la Universidad: decisiones docentes para encarar un nuevo

desafío
(Remote Learning Assessments in Higher Education: Teaching Decision Making when Facing a New
Challenge)
Schwartzman, G.; Roni, C.; Berk, M.; Delorenzi, E.; Sánchez, M.; Eder, M. ................................................ 67

Validación de una plataforma de evaluación formativa de la competencia digital docente en tiempos

de Covid-19
(Validation of a Platform for Formative Assessment of Teacher Digital Competence in Times of
COVID-19)
Viñoles-Cosentino, V.; Esteve-Mon, F.; Llopis-Nebot, M.; Adell-Segura, J. ................................................ 87

Procesos de feedback para fomentar la autorregulación con soporte tecnológico en la educación

superior: Revisión sistemática
(Self-Regulated Feedback Processes Enhanced by Technology in Higher Education: a Systematic
Review)
Gros Salvat, B.; Cano García, E. ......................................................................................................................... 107

¿Cómo implicar a los estudiantes para que utilicen el feedback online?

(How to Engage Students to Take Advantage of Online Feedback)
Espasa-Roca, A.; Guasch-Pascual, T. ................................................................................................................ 127

Peer Assessment as a Tool to Enhance Pre-Service Primary Bilingual Teachers’ Training

(La evaluación entre iguales para mejorar la formación inicial de maestros bilingües de Educación
Primaria)
Huertas-Abril, C.; Palacios-Hidalgo, F.; Gómez-Parra, M.;............................................................................ 149
La evaluación de la educación virtual: las e-actividades
(The Evaluation of Virtual Education: e-Activities)
Cabero-Almenara, J.; Palacios-Rodríguez, A.;.................................................................................................. 169

Rendimiento académico y deserción de estudiantes universitarios de un curso en modalidad virtual y

presencial
(Academic Achievement and Dropout of University Students from a Course in Both an Online and
Face-to-Face Modality)
Gonzales Lopez, E.; Evaristo Chiyong, I. .......................................................................................................... 189

Una experiencia de diseño de una tarea de evaluación sumativa en formato transmedia para formación
inicial de profesorado
(Educational Design Research of a Summative Evaluation Task in Transmedia Form for Initial
Teacher’s Preservice Training)
Castañeda, L. ....................................................................................................................................................... 203

Calidad en e-Learning: Identificación de sus dimensiones, propuesta y validación de un modelo para su

evaluación en Educación Superior
(e-Learning Quality: Identification of its Dimensions, Proposal and Validation of a Model for its
Assessment in Higher Education)
Ortiz-López, A.; Olmos-Migueláñez, S.; Sánchez-Prieto, J. ........................................................................... 225

Auditorías virtuales en el Programa de Sellos Internacionales de Calidad (SIC) de ANECA en tiempos

de pandemia
(Virtual Audits in ANECA’s International Quality Labels Program (SIC) in Times of Pandemic)
Bonilla-Calero, A.; Serrano-García, M. ............................................................................................................. 245

ESTUDIOS E INVESTIGACIONES

Analítica del aprendizaje significativo d-learning aplicado en la enseñanza de la física de la educación

secundaria
(Analysis of Significant Learning Applied d-Learning in the Teaching of Physics in Secondary
Education)
Augusto Salica, M. ............................................................................................................................................... 265

El aula invertida como estrategia didáctica para la generación de competencias: una revisión sistemática
(The Flipped Classroom as a Didactic Strategy to Build Competencies: a Systematic Review)
Sandobal Verón, V.; Marín, M.; Barrios, T. ...................................................................................................... 285

MOOC in the West and East: A Comparative Content Analysis of Newspapers

(MOOC en Occidente y Oriente: Un análisis de contenido comparativo en los periódicos)
Liu, J. .................................................................................................................................................................... 309

Competencia digital ciudadana: análisis de tendencias en el ámbito educativo

(Digital Competence for Citizen: Analysis of Trends in Education)
Marín Suelves, D.; Cuevas Monzonís, N.; Gabarda Méndez, V...................................................................... 329
Artículo editorial
I.S.S.N.: 1138-2783

¿Podemos fiarnos de la evaluación en

los sistemas de educación a distancia y
digitales?
(Can We Trust Evaluation in Distance and Digital
Education Systems?)

Lorenzo García Aretio

UNED (España)

DOI: [Link]

Cómo referenciar este artículo:

García Aretio, L. (2021). ¿Podemos fiarnos de la evaluación en los sistemas de
educación a distancia y digitales? RIED. Revista Iberoamericana de Educación a
Distancia, 24(2), pp. 9-29. [Link]

Resumen

Se prueba que la evaluación es una variable esencial en todo proceso de enseñanza-

aprendizaje. Se enfatiza la necesidad de diseñar una evaluación integrada en el proceso
formativo, sistemática y continuada, que, además de la preceptiva evaluación sumativa y final,
nos permita, mediante una evaluación formativa, orientar el aprendizaje y juzgar alternativas
previas a la toma de decisiones. Y estas destacadas características son válidas tanto en
procesos educativos presenciales como en aquellos soportados en tecnologías digitales.
Tanto en un caso como en el otro, se refuerza la relevancia y necesidad de la información de
retorno al estudiante, feedback, de calidad, como un respaldo permanente a la reconducción
hacia la mejora. Respecto a estas modalidades no presenciales, se justifican las variantes más
habituales de tipologías de evaluación existentes, la autoevaluación y la coevaluación, que se
muestran como complementos eficaces, tanto como estrategias de formación en sí mismas,
como de estímulo para la mejora; las pruebas a distancia (síncronas o asíncronas), de las
que se destacan en el trabajo numerosas ventajas y posibilidades; las pruebas presenciales,
aconsejables en estudios formales y reglados, y otras variantes alternativas. Finalmente se
apuntan una serie de ventajas que brindan las tecnologías para asegurar procesos evaluativos
de calidad, tanto de carácter síncrono, necesarios en épocas de confinamiento, como asíncrono.

Palabras clave: evaluación a distancia; evaluación continua; evaluación formativa; evaluación

síncrona y asíncrona.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 09-29.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 9
 L. García Aretio
¿Podemos fiarnos de la evaluación en los sistemas de educación a distancia y digitales?

Abstract

It is proven that evaluation is an essential variable in any teaching-learning process. The

need to design an integrated evaluation in the training process, systematic and continuous,
is emphasized that, in addition to the mandatory summative and final evaluation, allows us,
through a formative evaluation, to guide learning and judge alternatives prior to decision
making. And these important characteristics are valid both in face-to-face educational
processes and in those supported by digital technologies. In both cases, the relevance and
need for quality feedback to the student is emphasized as a permanent support for redirection
towards improvement. Regarding these non-face-to-face modalities, the most common
variants of existing evaluation typologies are justified, self-evaluation and co-evaluation,
that are shown as effective complements, both as training strategies in themselves, and as a
stimulus for improvement; remote tests (synchronous or asynchronous), of which numerous
advantages and possibilities are highlighted in this work; face-to-face tests, advisable in
formal and regulated studies, and other alternative variants. Finally, a number of advantages
that technology provide to ensure quality evaluation processes are pointed out, both of a
synchronous nature, necessary in times of confinement, and of an asynchronous one.

Keywords: distance assessment; continuous assessment; formative assessment; synchronous

and asynchronous assessment.

Todas las actividades humanas reciben de manera implícita o explícita una

valoración, en unos casos para sancionar el resultado o rendimiento de una tarea
y en otros, que parece son la mayoría, para realimentar el sistema al descubrir los
fallos, lagunas o deficiencias del proceso. Siempre para tomar decisiones pertinentes
que reconduzcan las acciones y refuercen la autorregulación (Allal, 1980) con el fin
de mejorar el rendimiento o, en su caso, de aprobar o reprobar el resultado final o
parcial (García Aretio, 1987).
El proceso de aprendizaje y, correlativamente, las estrategias de enseñanza
conforman una actividad humana de primera magnitud cuyo protagonista es el
sujeto que aprende y con otro sujeto no menos importante que existe, precisamente,
para facilitar ese aprendizaje, el profesor. En esa actividad, obviamente, se hace
igualmente precisa la medida, la valoración y toma de decisiones, es decir, la
evaluación (Walvoord, 2010). Y debería evaluarse a través de criterios objetivos
basados en parámetros que puedan indicarnos la consecución o no de las metas
previstas (Shute y Becker, 2010) con el fin de orientar la consolidación de los puntos
fuertes y el refuerzo en las lagunas o deficiencias observadas.
De ahí que esa evaluación, no debería ser una fase aislada y mucho menos,
final, del proceso, sino integrada, formando parte de él como elemento sustancial
del mismo (Pérez Juste, 1996; Brown, 2015). Y bien es sabido que una evaluación
bien concebida puede implementarse para fomentar e impulsar el aprendizaje de los
estudiantes (Pintrich y Zusho, 2002; Nicol, 2010).

10 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 09-29.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 L. García Aretio
¿Podemos fiarnos de la evaluación en los sistemas de educación a distancia y digitales?

Por ello, desde hace años, puede entenderse la evaluación del aprendizaje como
la acción de obtención de información sobre el estudiante y la naturaleza y calidad
de su aprendizaje, integrada en el proceso formativo, sistemática y continuada,
que nos permite orientar el aprendizaje y juzgar alternativas previas a la toma
de decisiones (García Aretio, 1994, 2001). Y ahí se hace referencia a la evaluación
de los aprendizajes, sean éstos obtenidos en formatos educativos presenciales
o no presenciales. Si la evaluación siempre ha sido considerada como variable
curricular fundamental, en las metodologías a distancia los procesos de evaluación
de los aprendizajes se vuelven aún más relevantes y se configuran como instrumento
determinante dentro de los procesos educativos (Schrum et al., 2007).
Lo que sucede, es que han venido siendo bastante habituales en los diferentes
formatos de las modalidades educativas no presenciales, las prevenciones, dudas,
temores, confusiones, malentendidos, etc., que se han generado en torno al concepto,
objeto, contenido, fases, protagonistas, validez, fiabilidad, etc., de la evaluación de
los aprendizajes, sobre todo cuando se trata de procesos de heteroevaluación.
Pues bien, por ahí irá el interés de este trabajo. Se tratarán de destacar 1los
conceptos de evaluación continua ligada a la evaluación formativa, con énfasis en el
feedback o realimentación, con el fin de reafirmar que esas características esenciales
de la buena evaluación están presentes en los modelos a distancia de calidad.

LA EVALUACIÓN CONTINUA, INTEGRADA Y FORMATIVA

Una evaluación continua, según el momento o tiempo en que se realizase podría

basarse en una diagnosis, evaluación inicial, apropiada para conocer las lagunas,
posibilidades y limitaciones de cada estudiante o grupo, una evaluación procesual
o continuada, realizada a lo largo del curso, integrada en el proceso, con recogida
sistemática de informaciones parciales, y una evaluación final que debería ser
consecuencia lógica de la procesual y más cercana a una evaluación global (García
Aretio, 2001). Ha de superarse la mera idea de considerar a la evaluación como el
examen, la calificación, la nota, la certificación, la promoción, la tarea educativa final,
la simple medida y la decisión final, sin más. Y, lamentablemente, esto se continúa
haciendo, es lo que prevalece en las aulas universitarias (Álvarez et al., 2011; San
Martín et al., 2016), tanto en modalidades presenciales como a distancia.
Una evaluación continua, y por tanto integrada, con episodios y registros
frecuentes en el tiempo, lleva a una retención y éxito más prolongados que las
situaciones de evaluación a examen único (Kornell, 2009; Hussey, 2017). Si no se
desarrollan en nuestra acción docente procesos de evaluación continua, resulta inútil
hablar o escribir sobre logros de competencias, al menos en muchas asignaturas y
cursos, a no ser que nos limitemos a valorar lo estrictamente memorizado por el
estudiante. Los procesos de evaluación continua ayudan a los estudiantes a mantener
el camino correcto y mejorar su rendimiento (Domenech et al., 2015; Day et al.,
2017).

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 09-29.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 11
 L. García Aretio
¿Podemos fiarnos de la evaluación en los sistemas de educación a distancia y digitales?

Una evaluación continuada, a lo largo de todo el proceso, que haya previsto,

diseñado, esas actividades que obligan y centran la acción en el que aprende, que
le reconducen sobre sus previsibles errores (Coll et al., 2008), sí podría dar cuenta
del logro o no de aquellas competencias/objetivos previstos y deseados también los
de orden complejo y, además, permitiría a los docentes familiarizarse con el trabajo
continuado de sus estudiantes (Russell et al., 2006), que les llevará a comprobar
logros de objetivos complejos, obtenidos en varias etapas a lo largo del curso.
Si el fin de lo que se pretende es sólo averiguar el dominio conseguido por el
estudiante con la finalidad de certificar o acreditar unos resultados o de asignar
una calificación de aptitud o inaptitud referente a determinadas competencias,
conocimientos, destrezas o capacidades adquiridos en función de las previsiones,
se trata de medir lo aprendido, a base de acumular datos frecuentes e, incluso,
sistemáticos, se estaría, sí, en una evaluación continua, pero que se denominaría
sumativa. Podría arbitrarse un sistema de ponderaciones según los diferentes
actos evaluativos y al final, generar un número, o una letra o palabra que calificase
ese resultado.
Sin embargo si, además de una calificación final, el objetivo es proporcionar una
información continuada, al estudiante (feedback), válida también para el docente,
con el fin de, posteriormente, tomar decisiones; si se busca que el estudiante
corrija defectos y confusiones, supere dificultades y adquiera competencias que se
han detectado como ausentes en la prueba o trabajo de evaluación propuesto, se
estaría más que midiendo lo aprendido, evaluando para aprender (Scriven, 1967;
Morgan y O’Reilly, 1999; Earl, 2013), es decir, realizando una evaluación, además
de continuada, formativa. Se trataría, como señala Barberà (2006), no sólo de
evaluar los aprendizajes, sino evaluar para aprender tras el feedback, evaluar como
aprendizaje en sí mismo o evaluar desde lo que ya se sabe.
Así las decisiones que hayan de adoptarse cuando se está seguro de haber llevado
a cabo estos procesos formativos se mostrarán útiles, factibles, exactas, válidas,
objetivas y éticas (Stufflebeanm et al., 2002; Quesada, 2006). Por tanto, recogida
constante y sistemática de información sobre la situación y aprendizaje del sujeto
con el fin de orientarle en el proceso, y ayudarle a superar las dificultades que se le
pudieran presentar durante el estudio, o sea, evaluación continua (McAlpine, 2002)
que, en este caso, sería además formativa. Y ello se trate de formatos educativos
presenciales, a distancia, combinados o híbridos.
Y en cualesquiera de esos formatos, si la evaluación es importante, el feedback
o información de retorno, no lo es menos (Rodríguez e Ibarra, 2011). Un estudiante
puede soportar bien el estudio sin contacto presencial, pero le será muy difícil llevarlo
a cabo sin la correspondiente realimentación o feedback (Gibbs y Simpson, 2009)
de la evaluación formativa (Ryan et al., 2000). Por otra parte, nadie ha aprendido
nada de una calificación, de una nota. Sin embargo, sí puede aprenderse de un breve
informe sobre los errores cometidos (Hills, 1981), y esa información suele generar
elementos positivos en los futuros aprendizajes y en la calidad de estos.

12 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 09-29.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 L. García Aretio
¿Podemos fiarnos de la evaluación en los sistemas de educación a distancia y digitales?

La evaluación así se convierte en un excelente recurso para la realimentación,

para la información de retorno o feedback, tras la realización de una determinada
prueba, actividad o tarea (Ferguson, 2011; Tillema, 2009). De hecho, la evaluación
continua, para ser a la vez formativa, se debería configurar como un feedback
permanente entre docente y estudiante, que informe de las carencias y logros
respecto a esa actividad realizada.
Sería esa la forma de propiciar una autorregulación en el estudio y redirigir al
logro de las competencias y objetivos no alcanzados (Allal, 1980). Si no existiese
el feedback, no habría evaluación formativa. Si no se muestra a los estudiantes
los resultados de sus avances y no se les orienta hacia la mejora, la evaluación,
educativamente hablando, serviría de poco (Black y Wiliam, 1998; Coll et al., 2008;
Gikandi et al., 2011). El rendimiento académico y la retención o permanencia de los
estudiantes queda favorecido por propuestas de evaluación formativa que enfatizan
la realimentación (Vallés et al., 2011; Chetwynd y Dobbyn, 2011).
Por tanto, la información de retorno o feedback habría de pasarse al estudiante
siempre que éste haya realizado un acto evaluativo, haya sido presencial (Espasa et
al., 2018) o en línea (McCarthy, 2017). Y deberá cuidarse especialmente la forma de
llevar a cabo este feedback (Bangert-Drowns et al., 1991) que debe procurarse que
sea efectivo (Shute, 2008). Un feedback, que se debe pretender total, personalizado,
motivador, inmediato y claro y, también en diferentes formatos, individual o grupal,
síncrono o asíncrono, en texto, audio o imagen, etc. (García Aretio, 2020a).
En fin, la triada evaluación continua, formativa y realimentación eficaz
conforman elementos ideales para elevar el rendimiento de los estudiantes (Nicol y
Macfarlane-Dick, 2006).

MODALIDADES HABITUALES DE EVALUACIÓN EN SISTEMAS A

DISTANCIA

Antes de acometer las modalidades más habituales de evaluación en los sistemas

a distancia convendrá hacer alusión a la distinción de criterios a la hora de evaluar.
Así puede hablarse de evaluación normativa y criterial (Glaser, 1963). La evaluación
se puede limitar a criterios de grupo, con lo que la calificación del individuo queda
en una posición relativa con respecto a los otros miembros del grupo, evaluación
normativa. O puede referirse la evaluación a criterios conductuales, especificados
previamente, de logro de competencias, de objetivos y/o contenidos, evaluación
criterial (Popham, 1983). Y estas dicotomías valen tanto para formatos de
evaluación presenciales, virtuales, síncronos o asíncronos.
Respecto a todo lo aportado hasta ahora, no se conocen estudios rigurosos que
afirmen que llevar a cabo una evaluación integrada, continua y formativa, nunca
puesta en duda en los modelos presenciales, no pueda tener, al menos, la misma
eficacia y posibilidades en los entornos virtuales de enseñanza y aprendizaje. ¿Cuáles
son las modalidades más habituales de evaluación en los estudios no presenciales?

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 09-29.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 13
 L. García Aretio
¿Podemos fiarnos de la evaluación en los sistemas de educación a distancia y digitales?

La autoevaluación y la coevaluación

Además de la tradicional y más habitual evaluación de los aprendizajes de los

estudiantes por parte de sus profesores, heteroevaluación, existen otros tipos de
evaluaciones alternativas, según el agente evaluador. Autoevaluarnos y valorar el
trabajo de otros resulta una tarea casi permanente en la sociedad actual. Es una
forma de involucrar a los propios estudiantes en la posterior toma de decisiones
sobre su evaluación. Parece que implicándoles en estas formas alternativas de
evaluar, negociando, evaluando a otros, etc., los estudiantes aprenden más y mejor y
pueden elevar su autoestima (Falshikov, 1986).
En concreto, nadie mejor que el estudiante puede valorar el esfuerzo realizado,
el tiempo dedicado, las dificultades superadas, la satisfacción o insatisfacción, etc.,
producidos por los aprendizajes. Se trataría de la autoevaluación. Ya se apuntó
que los estudiantes son dados a identificar como importante para el aprendizaje
y clave del estudio todo lo que se pregunta y cómo se pregunta, relegando a
segundo término aquello que no fue motivo de autoevaluación. De esta manera se
potenciará el repaso de lo fundamental de la unidad o tema, la puesta en práctica de
determinadas habilidades y, también, se pueden detectar las partes más débiles del
propio aprendizaje (McDonald, 2012).
Los ejercicios de autoevaluación o autocomprobación deberían ser un
componente insustituible y muy cuidado en la educación a distancia, y ahora digital,
por el valor de su realimentación inmediata (Robles y Braathen, 2002), acompañado
de la correspondiente autorregulación, dado que, si están bien diseñados, el
estudiante puede reaccionar al cerciorarse de la calidad de su progreso (Morgan y
O’Reilly, 1999). Aprender a autoevaluarse, emitir juicios sobre el propio aprendizaje,
supone aprender a ser más autónomo, es decir, adquirir un hábito de suma utilidad
en diferentes facetas del futuro desempeño humano y un elemento importante
para el objetivo del autoaprendizaje futuro (Thomas et al., 2011) y del permanente
aprender a aprender.
Igual puede suceder cuando el proceso que se acomete es el de coevaluación,
evaluación compartida (Deeley, 2014) o retroalimentación por pares (Panadero y
Alqassab, 2019). En este caso, realimentan, enseñando sobre aciertos y errores, los
propios pares que se convierten en juez y parte (Álvarez, 2008; Gessa, 2011). Uno
mismo informa a los propios iguales, en función de la estrategia docente que se haya
implementado, para llevar a cabo esa coevaluación. Resulta útil y conveniente que
los propios pares que conforman el grupo, más allá de realizar su propia valoración,
traten de observar el desempeño académico de los compañeros de curso y, por ello,
también participen en el proceso como evaluadores y compartan la experiencia y
comprueben sus propias limitaciones, a través de la coevaluación (Adachi et al.,
2018; Dochy et al., 1999; Morgan y O’Reilly, 1999; Chien et al., 2020). Así, de la
autorregulación puede pasarse a la corregulación.

14 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 09-29.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 L. García Aretio
¿Podemos fiarnos de la evaluación en los sistemas de educación a distancia y digitales?

En este punto debería destacarse que no se puede afirmar que los sesgos en
las puntuaciones, en estudios superiores, sean significativos, cuando se comparan
propuestas de autoevaluación (Keveresky, 2017; Salvadores-Merino, 2019),
evaluación entre iguales y heteroevaluación (Sánchez et al., 2017; Oren, 2018). Por
otra parte, la evaluación por pares ofrece una retroalimentación eficiente y efectiva
para los estudiantes (Topping, 2009), y tanto la autoevaluación como la coevaluación,
llegan a empoderar a los estudiantes (Nulty, 2011).

Las evaluaciones o pruebas a distancia

En los sistemas a distancia fueron siempre habituales las pruebas de evaluación

a distancia que se realizan con espacio y situación libre para el estudiante, con
fecha límite o no para entregar o cumplimentar el trabajo o prueba y ahora, con
los apoyos digitales, en tiempo síncrono, en directo, asíncrono y en línea. Estas
pruebas pueden ser estructuradas de muy diversas maneras, siempre en función de
la naturaleza del curso que se imparte y de las competencias y objetivos previstos.
Desde trabajos amplios que requieran poner en juego diversas capacidades cognitivas
del estudiante, no meramente memorísticas, pruebas de ensayo o actividades
o trabajos de elaboración, sean estos teóricos o prácticos, que evalúan distintos
objetivos de formación y logro de competencias, hasta pruebas objetivas plenamente
automatizadas.
Es aconsejable utilizar instrumentos de evaluación múltiples -incluso dentro
de cada unidad de evaluación- que pueden ser válidos sin que creen especiales
problemas para ser resueltos en línea. Nos parece que esta forma de evaluación
del proceso o evaluación continua facilita enormemente la evaluación formativa
(Allal, 1980) a través de actividades, trabajos y pruebas que garantizan un estudio
sistemático y eficaz y comportan otra serie de ventajas (Blair y Valdez, 2014) que se
sugieren (García Aretio, 1987 y 1994), ahora modulados por las tecnologías:

• Suponen un control periódico e identificación del progreso académico de los

estudiantes, posibilitando una evaluación continua a la vez que formativa.
• Obligan a estudiar, dado que puede ser preceptiva la cumplimentación de la
prueba en una fecha determinada.
• Propician una adecuada distribución y organización del tiempo de trabajo,
siempre que estén bien planificadas cronológicamente, en función del diseño del
curso.
• Ayudan a la planificación del trabajo, dado que este estudio lo realizará el alumno
de forma sistemática, ya que las pruebas se ajustan a la parte de la materia que se
calcula debe haberse aprendido en una determinada unidad de tiempo, evitando
así la sobrecarga de estudio en unas fechas determinadas.
• Ayudan a retener, comprender, aplicar, analizar, valorar…, los aspectos
fundamentales de la materia. El estudiante habrá de insistir en los puntos no

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 09-29.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 15
 L. García Aretio
¿Podemos fiarnos de la evaluación en los sistemas de educación a distancia y digitales?

suficientemente asimilados que son motivo de actividad o pregunta, con el fin

de alcanzar las competencias y objetivos que se pretenden, y de esta manera,
convertirse en auténtico protagonista de su aprendizaje.
• Se utilizan como elemento de comunicación bidireccional, información de
retorno o feedback (evaluación formativa) dado que habrán de ser valorados
por los correspondientes docentes con la corrección de errores, calificación y las
pertinentes orientaciones que sugieran estrategias de estudio enfocadas al logro
de los saberes o destrezas no alcanzados.
• Promueven la participación y el aprendizaje activo, dado que el conocimiento,
por parte del estudiante, de los resultados de su aprendizaje y la correspondiente
orientación sobre el mismo, actúa como guía y fuerte incentivo para el
pensamiento crítico y la autorregulación, mejora en organización, cantidad y
calidad de los futuros logros académicos.
• Se podrían utilizar también como instrumento para la coevaluación, o evaluación
entre pares. En estos casos se hace más necesaria la elaboración de rúbricas bien
ajustadas a los procesos que pretenden medirse.
• Se fuerza al alumno a no limitarse en su estudio a la consulta del material
estrictamente obligatorio, al solicitársele respuesta a cuestiones que requieran
la reelaboración, análisis de enfoques distintos o relación entre ellos, etc., que
ponen al sujeto en la necesidad de consultar otras fuentes bibliográficas o a
profundizar en las recomendadas como básicas.
• Se puede exigir, en algunos casos, la postura personal en determinadas
cuestiones, que requerirán la reflexión y el estudio con detalle de todo tipo de
material.
• Sirven de entrenamiento -en su caso- para la realización de las pruebas
presenciales, dado que algunas de ellas deberían estar estructuradas en formato
similar, en cuanto al contenido y estilo de las cuestiones, aunque requieran un
tiempo superior para su cumplimentación que las presenciales.
• Orientan a los docentes para detectar los bloques de la materia en donde existen
mayores lagunas en el aprendizaje y los fallos más notables, para poder insistir y
reforzar los contenidos y procesos que se hagan necesarios. Y ello puede hacerse
mediante orientaciones individuales o a través de refuerzos puntuales con
materiales textuales o audiovisuales y, naturalmente, a través de los foros.
• Se establece el oportuno requisito académico de la cumplimentación de estas
pruebas sin las cuales, en determinados programas, no puede superarse la
materia o curso en cuestión.

A veces se configuran como el elemento exclusivo para la toma de decisiones, sin

necesidad de implementar una evaluación final de carácter presencial. Por tanto,
evaluación integrada en el proceso, continua y maximizando la realimentación
(Meyen et al., 2002).

16 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 09-29.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 L. García Aretio
¿Podemos fiarnos de la evaluación en los sistemas de educación a distancia y digitales?

Las pruebas presenciales

Una evaluación presencial consiste en la realización de pruebas o trabajos

que habrán de desarrollarse con tiempo síncrono, espacio físico idéntico y situación
delimitados con suficiente antelación (Shuey, 2002).
Son pruebas que, cuando se establecen, ponen al estudiante en disposición de
demostrar hasta qué punto los ejercicios de autoevaluación y, sobre todo, las pruebas
realizadas a distancia han sido fruto de su exclusivo esfuerzo personal. Este tipo
de pruebas es recomendable, quizás todavía imprescindible, en aquellas materias
y cursos cuya superación llevan al logro de una certificación, título o acreditación
de carácter oficial. Hasta tanto las modernas tecnologías no garanticen formas de
examen en las que sea muy difícil la suplantación de identidades, la deshonestidad,
etc. (Rovai, 2000) y superados los posibles problemas técnicos, jurídicos y éticos
(Aznarte y Lacruz, 2021), seguiría recomendando este tipo de pruebas en los casos
señalados, además de una evaluación continua y formativa a distancia (evaluación
mixta o híbrida). En todo caso, en situaciones de pandemia hay que arbitrar
soluciones digitales que eviten al máximo conductas fraudulentas.

Otras evidencias de evaluación en los sistemas a distancia

No deberían considerarse como «pruebas» propiamente dichas, pero sí como

elementos o evidencias que nos permitirán acumular información con respecto
al sujeto de evaluación. De ahí, la participación en las diferentes actividades
interactivas síncronas y asíncronas que posibilitan las plataformas (foros, chat,
wikis…), la calidad y cantidad de estas participaciones, los documentos leídos,
escuchados o visionados… La analítica de aprendizajes, puede ayudarnos a enfocar
hacia un aprendizaje adaptativo, mediante la mejora de diseños y de una más eficaz
realimentación (Martin y Ndoye, 2016).
Hoy día muchas plataformas digitales facilitan esas posibilidades de
autoevaluación, coevaluación, heteroevaluación (Anderson, 2008), evaluación
síncrona y asíncrona, además de poder llevar a cabo estudio de los datos o analítica
de aprendizajes. Nunca en los formatos presenciales se podrá contar con tal cantidad
de registros y evidencias relativos al aprendizaje de los estudiantes.

SOBRE LAS DUDAS Y CAUTELAS RESPECTO A LA EVALUACIÓN EN

LOS SISTEMAS VIRTUALES

Con la autoridad que nos ofrecen los autores consultados y referenciados más
arriba, y basado en trabajos anteriores, modulados por las tecnologías digitales
(García Aretio, 1994, 2001), podría afirmarse que el tiempo dedicado a una buena
planificación de la evaluación comportará una serie de ventajas respecto a reforzar las

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 09-29.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 17
 L. García Aretio
¿Podemos fiarnos de la evaluación en los sistemas de educación a distancia y digitales?

funciones básicas de la misma en todo el proceso de diseño y desarrollo educativos,

válidas tanto para procesos presenciales como para aquellos de corte digital. Éstas
serían, a modo de síntesis, esas funciones.

• Clarificar y ajustar objetivos y contenidos relacionados con las competencias.

¿Qué evaluar?, ¿para qué?, ¿son competencias, son objetivos y contenidos
apropiados, claros, realistas, evaluables…?
• Diagnosticar situaciones. Bien sean de individuos concretos o del grupo de
estudiantes que siguen el curso, con el fin de reconducir, si es preciso, el proceso
de enseñanza a sus posibilidades y limitaciones.
• Mantener constantes los niveles académicos. La evaluación sirve de guía al
propio docente para cerciorarse sobre el rendimiento de los estudiantes y sobre
las previsibles desviaciones del itinerario formativo previsto que pudieran llevar
a metas no deseadas.
• Motivar pautas de actuación de estudiantes y profesores. Una evaluación bien
concebida y diseñada indica al estudiante qué, cómo y cuándo se estudia, y al
profesor qué y cómo se enseña, con el fin de facilitar el éxito y permanencia y
huir del fracaso y abandono.
• Predecir resultados. La prevención y el pronóstico facilitados por una evaluación
inicial y del proceso son más pedagógicos que la recuperación posterior de lo no
aprendido al facilitar información que nos permite actuar con inmediatez.
• Propiciar la investigación. Con los datos recogidos pueden compararse métodos
y estrategias, cursos, grupos de alumnos, diseños, recursos, etc.
• Fundamentar la innovación. La investigación referida puede probar la eficacia
de nuevos métodos o estrategias didácticas que inviten a la introducción de
algún cambio que transforme y mejore la estructura o elementos de la acción
formativa.

18 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 09-29.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 L. García Aretio
¿Podemos fiarnos de la evaluación en los sistemas de educación a distancia y digitales?

• Acreditar socialmente unos resultados. Enfocados a la toma de decisiones

relativa a la promoción o no, a la obtención de un determinado reconocimiento
académico o no, etc.
• Proporcionar información más allá del docente. Bien sea para la propia institución
que imparte el curso, bien para instancias superiores (administraciones públicas,
asociaciones, empresas, etc.), con el fin de tomar decisiones dirigidas a la mejora
de la acción.
• Informar y orientar al estudiante (feedback), con el propósito de hacerle
partícipe de sus deficiencias o progresos y así ayudar a fijar mejor sus aprendizajes
futuros.

De poco servirá plantearse hermosos objetivos e inmejorables contenidos si se

prescinde de su evaluación. El resultado de un buen curso puede quedar malogrado
por un inadecuado enfoque de la evaluación o de sus técnicas. Los estudiantes no
pueden escapar a esa realidad y si se les evalúa mal, aprenderán mal, aunque se les
haya enseñado bien. En consecuencia, un curso o una asignatura sean presenciales o
a distancia, pueden quedar muy determinados por lo que se evalúa.
Señaladas ya las posibilidades de una evaluación bien planificada para el logro de
aprendizajes valiosos, en cualquier modalidad educativa, quizás haya de profundizarse
más en las características propias de la evaluación en sistemas digitales. Así, para
los más escépticos, habrían de mostrarse una serie de ventajas o posibilidades de
las modalidades a distancia mediadas por tecnologías, que generalmente, facilitan
contextos de evaluación enriquecidos. Estas son (García Aretio, 2017; Burns, 2018):

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 09-29.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 19
 L. García Aretio
¿Podemos fiarnos de la evaluación en los sistemas de educación a distancia y digitales?

• Una mayor personalización del proceso evaluativo, evaluación adaptativa,

preguntas secuenciadas por dificultad, etc.
• Gran variedad de diseños y presentaciones. Así en lugar de una sola prueba,
se pueden realizar varias, secuenciadas en tiempos diferentes, síncronas o
asíncronas.
• Resulta sencillo realizar una evaluación diagnóstica previa mediante pruebas en
línea.
• En pruebas objetivas la calificación puede ser automatizada e inmediata y en las
de respuesta abierta, cabe la posibilidad de automatizar una serie de rúbricas
(García Aretio, 2020b). Pueden evitarse así los errores humanos.
• Mayor diversidad de técnicas e instrumentos de evaluación formativa continuada
gracias al feedback automático.
• Se facilitan enfoques tanto para una evaluación criterial (superación de
competencias u objetivos) como normativa (posibilidad de comparación entre
los logros de los estudiantes).
• Se pueden obtener respuestas de todos los estudiantes a cualquier pregunta que
pueda plantearse en los materiales de estudio, con el fin de conocer el progreso
global del grupo.
• Múltiples registros de evidencias, de actividad del estudiante en la plataforma:
inicios de sesión, tiempos de permanencia, lecturas de documentos,
participaciones en foros, etc., que proporcionan amplia información para la
toma de decisiones.
• Posibilidad de realizar portfolios en línea y seguimiento de la realización de
actividades, así como el uso de herramientas tecnológicas para el trabajo
colaborativo, la realización de prácticas en entornos simulados o remotos
controlados por tecnologías, etc.
• Se podría asegurar una mejor atención a estudiantes con algún tipo de
discapacidad visual, auditiva o motriz: lectores de pantalla, herramientas de
ampliación, conversores de texto a voz o de voz a texto.
• La facilidad de realizar numerosas pruebas permite el acceso a un número
sustancialmente mayor de datos individuales y grupales (analítica de
aprendizajes).

A pesar de todo esto, en las modalidades no presenciales, se ha dudado mucho

respecto a uno de los parámetros, al del control de la evaluación y a las posibilidades
de fraude (García-Peñalvo, 2020; Harper et al., 2021). Aunque, respecto a las
garantías en cuanto a la identidad de los estudiantes y la autoría de las actividades
entregadas, conviene resaltar que en todas aquellas actividades que no se realizan
delante de un profesor y en un entorno controlado, el fraude en los exámenes, el
plagio o la suplantación de identidad en determinados trabajos entregados, son
problemas comunes y similares, sea en entornos presenciales o a distancia.

20 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 09-29.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 L. García Aretio
¿Podemos fiarnos de la evaluación en los sistemas de educación a distancia y digitales?

Es decir, en la mayor parte de actividades de evaluación fuera de los exámenes

presenciales, las dificultades y, por tanto, los niveles de incertidumbre son los
mismos en ambas modalidades (Dawson, 2016). Más allá de las posibilidades de la
videoconferencia, los videomensajes, la foto, la identificación facial o de huellas…,
que pueden dar fe de esa identidad (García Aretio, 2017).
Y, además, no existen más conductas deshonestas en las pruebas en línea que en
las pruebas presenciales (Harmon y Lambrinos, 2008), siempre que estén diseñadas
adecuadamente. El introducir evaluaciones electrónicas, sean de autoevaluación,
coevaluación o heteroevaluación, lleva a aumentar considerablemente la actividad
de los estudiantes en el entorno virtual de aprendizaje y su rendimiento (Holmes,
2017; McLaughlin y Yan, 2017).
Lo que sucede es que al profesorado le ha inquietado mucho más toda la
problemática de la identidad del “examinado”, que arbitrar medidas pedagógicas
para que los estudiantes alcancen las competencias programadas (Sangrá, 2020).
Muchos docentes no quieren, de ninguna manera, perder el control del proceso que,
entienden, está en la evaluación (García Peñalvo, 2020). Estas exigencias confrontan
a veces con todo lo relacionado con el derecho a la privacidad y las normativas sobre
protección de datos (Aznarte y Lacruz, 2021). También se han arbitrado posibilidades
de utilizar un alias que permitiese la anonimización de los estudiantes (Amo et al.,
2020).

UNA EVALUACIÓN SÍNCRONA Y EN LÍNEA

¿Y qué sucedió con el confinamiento respecto a esta cuestión? Hubo que cambiar
metodologías, recursos, sistemas de comunicación e interacción, etc. Y se hizo, mejor
o peor. La enseñanza virtual en esos meses no era una opción, fue una necesidad
e, incluso, una obligación (Dhawan, 2020). Sin embargo, parece que cambiar la
evaluación supone mayores resistencias por parte de los docentes que introducir
cambios en otras variables (Blázquez et al., 2017). Así, la evaluación online ha venido
siendo un serio problema para muchos críticos (Friedman et al., 2016), sobre todo,
como ya se indicó, en lo referido a la identificación de la persona evaluada por el
riesgo de fraude o deshonestidad (Prince et al., 2009). Unas evaluaciones diseñadas
inicialmente para ser propuestas con libro cerrado y sin recursos didácticos
disponibles, se iban a hacer sin el control presencial. Esa era, en definitiva, la
preocupación principal y el reto.
Lo más sencillo habría sido considerar que se ha venido realizando a lo largo del
curso una rigurosa evaluación continua, tanto formativa como sumativa (Sambell et
al., 2018), y que ello se entendiese como suficiente, o al menos determinante, para la
toma final de decisiones.
Se ha avanzado enormemente en la propuesta de herramientas de vigilancia
automática de exámenes, de control biométrico (proctoring), de reconocimiento
facial, también dactilar, como garantía de identificación del estudiante (Adkins

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 09-29.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 21
 L. García Aretio
¿Podemos fiarnos de la evaluación en los sistemas de educación a distancia y digitales?

et al., 2005). No parecería excesivamente complicado integrar estos sistemas de

identificación dentro de algunas plataformas virtuales modernas. Estos sistemas
proctoring, o e-proctoring, podrían detectar con cierta fiabilidad si existiese algún
tipo de suplantación de la persona que realiza el examen, presencia de elementos
distintos a los necesarios para el examen, de otras personas, alteraciones de audio,
visión 360º, el bloqueo del navegador, interoperabilidad con la plataforma virtual,
diversas compatibilidades, etc. (González et al., 2020; García-Peñalvo et al., 2020).
Sin embargo, Aznarte y Lacruz (2021) apuntan a que existen evidencias de que
estas tecnologías conllevan problemas técnicos, jurídicos y éticos. No en todos los
países existe un marco regulatorio claro para el uso de tecnologías biométricas.
Ha de combinarse la necesidad y la proporcionalidad, en el sentido de encontrar
medidas menos gravosas que puedan aportarnos un resultado equivalente. Podría
violarse el derecho a la privacidad. Más allá de que estas tecnologías de vigilancia
automática son, a veces y todavía, imprecisas y el software falible; podrían producir
discriminaciones y vulneraciones del principio de igualdad y podrían generar
discriminación por motivos de diversidad funcional. Estos autores (Aznarte y
Lacruz, 2021) afirman, además, que ni siquiera estas tecnologías pueden garantizar
la autoría ni la ausencia de uso de medios fraudulentos en la realización del examen
online.
Así, con las tecnologías con que se puede contar hoy, y prescindiendo del
proctoring, en su momento se esbozó una serie de recomendaciones o variables a
tener en cuenta para propiciar una evaluación más válida y fiable (García Aretio,
2020c). Algunas de estas sugerencias de tecnologías o de estrategias docentes,
podrían tener alguno de los problemas señalados para las tecnologías de proctoring.
En todo caso, estas sugerencias pueden plantearse como de aplicación simultánea,
es decir, no tienen por qué ser excluyentes unas de otras:

• Videoconferencia, con identificación mediante el documento oficial de identidad

existente en cada país, con herramientas tipo: Teams, Zoom, Skype, Blackboard,
Google Meet, AVIP, etc. Pruebas orales o escritas. En este último caso (escritas),
sin necesidad del reconocimiento facial, pero con plano fijo, garantizando
mientras dura el examen, que la persona que opera en ese ordenador es el
estudiante motivo de la prueba.
• Análisis síncrono, con capturas de vídeo, de las condiciones de la prueba.
• Fotografía. Toma aleatoria en tiempos diferentes de fotografía del estudiante que
realiza la prueba. Debería facilitarse al inicio y/o final de la prueba, igualmente,
una foto del documento de identidad.
• Control aleatorio remoto del ordenador desde el que se realiza la prueba.
• Bloqueo del ordenador para impedir el acceso a ayudas o a otras aplicaciones
diferentes a la de la realización del examen.
• Simple control de acceso a la plataforma con el ID de usuario y la correspondiente
contraseña.

22 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 09-29.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 L. García Aretio
¿Podemos fiarnos de la evaluación en los sistemas de educación a distancia y digitales?

• Para limitar o reducir el riesgo externo de ayuda:

▪ Dar mayor alcance y peso a la evaluación continua con el fin de reducir los
efectos de un examen final que pudiera ser fraudulento.
▪ Plantear preguntas que se alejen de la mera memorización o recuerdo.
▪ Un número suficientemente amplio de preguntas, especialmente en pruebas
objetivas, que dificulta perder demasiado tiempo.
▪ Posibilidad de aleatorizar estas preguntas e, incluso, las alternativas de
respuesta, en su caso. Ello exige contar con bancos o bases de preguntas
muy amplias para no repetirlas en posteriores exámenes.
▪ Presentar en la aplicación de examen las preguntas aleatorizadas una a
una, o por bloques, no todas a la vez, indicando el número de intentos de
respuesta permitidos.
▪ Tiempo concedido y bien ajustado para responder que, infelizmente, puede
perjudicar a los más lentos a la hora de teclear en las pruebas de desarrollo.
▪ Proponer cuestiones complejas que permitan utilizar material (libro abierto)
y otros recursos. Estas preguntas han de estar muy bien planteadas y deben
exigir poner en juego habilidades cognitivas de orden superior.
▪ Impedir la posibilidad de realizar copia/pega desde otros entornos a la
pantalla de respuestas.

• Prueba oral. En la que se verifique previamente la identidad del estudiante y

se pueda constatar que, al menos, el ordenador que incorpora la webcam no
está ofreciendo material fraudulento (compartir escritorio, por ejemplo), y que
la webcam ofrece una perspectiva amplia de la estancia y no sólo el rostro del
examinado.
• Preguntas abiertas que también podrían responderse síncronamente a través de
chat, foro u otra aplicación. Ligado con la siguiente.
• Antiplagio. Trabajos o realización de pruebas síncronas o asíncronas en los que
se permite la utilización de todo tipo de material (pruebas de libro abierto) y
que posteriormente se verán sometidos a la correspondiente herramienta del
antiplagio.
• En estos últimos casos, y dependiendo del número de matriculados, también
podría someterse al estudiante a una breve y posterior prueba oral que pudiera
acreditar sus aprendizajes relativos a la tarea realizada.

De todas formas, habría de trabajarse por cambiar el enfoque de una evaluación

que hasta ahora primaba el memorismo, y afianzar otros procesos educativos
enfocados a poner en juego tipos de habilidades, tales como la comprensión, el
análisis, la síntesis, la aplicación, la creación, etc., de esta forma el estudiante se
habrá habituado a memorizar menos y a desarrollar otras capacidades que invitarían
a ser más honestos y huir del plagio o fraude. Sería también una manera de ir

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 09-29.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 23
 L. García Aretio
¿Podemos fiarnos de la evaluación en los sistemas de educación a distancia y digitales?

conformando en los estudiantes, conductas más decentes. Por ejemplo, en estas

circunstancias, exámenes de libro abierto serían plenamente factibles.
Por tanto, más que dedicar tanto tiempo y recursos a encontrar e implementar
nuevas tecnologías de identificación y control, podríamos dedicar alguna parte
importante de ese tiempo a diseñar nuevos enfoques de una evaluación auténtica,
variada, continua, formativa, con pruebas y registros más frecuentes, etc., que así
aleje las tentaciones de fraude.

CONCLUSIÓN

Queda probado que la evaluación es una variable crítica en los procesos de

enseñanza-aprendizaje que, bien diseñada y aplicando las modalidades y estrategias
apropiadas en cada caso, se convierte en un instrumento ideal para el logro de las
competencias y objetivos propuestos. Ello, más allá de la función de medida, control
o certificación que pudiera ofrecer según las circunstancias.
Todas las ventajas de la evaluación en los formatos educativos convencionales
y presenciales pueden probarse en los sistemas a distancia y digitales e, incluso,
reforzarse, dadas las ingentes posibilidades de registrar datos, evidencias e
información del proceso de aprendizaje del estudiante y la capacidad de respuesta y
realimentación automática o personalizada.
Ante dificultades similares a las vividas durante el confinamiento, que impiden
la presencia en un aula de examen, antes de implementar sistemas de proctoring,
habría de estudiarse el cómo superar, según país e institución, posibles problemas de
carácter técnico, jurídico y ético.
En los estudios superiores de carácter formal y reglado resulta recomendable la
aplicación de una evaluación de carácter mixto, a distancia de forma generalizada,
síncrona o asíncrona, pero con el agregado de alguna prueba de carácter presencial,
hasta tanto se superen las dificultades expuestas. Existen estrategias de evaluación
que, sin el uso de esa tecnología de proctoring, muestran una aceptable fiabilidad.
Y, finalmente, tratar de ir modulando las competencias objeto de enseñanza
y aprendizaje y, en consecuencia, los procedimientos de evaluación que se irían
alejando de pruebas que sólo piden plasmación de lo memorizado que es una
forma de invitar a conductas deshonestas. Repensar la evaluación para mejorarla,
supondría en su momento, el efecto inmediato de la mejora de nuestras formas de
enseñar y de aprender.

REFERENCIAS

Adachi, C., Tai, J., y Dawson, P. (2018). A and Development, 37(3), 453-467.
Framework for Designing, Implementing, [Link]
Communicating and Researching Peer .1405913
Assessment. Higher Education Research

24 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 09-29.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 L. García Aretio
¿Podemos fiarnos de la evaluación en los sistemas de educación a distancia y digitales?

Adkins, J., Kenkel, C., y Lim, C. L. (2005). Barberà, E. (2006). Aportaciones de la

Deterrents to online academic dishonesty. tecnología la e-Evaluación. RED. Revista
The Journal of Learning in Higher de Educación a Distancia, 5(6), 1-13.
Education, 1(1), 17-22. [Link]
Allal, L. (1980). Educational evaluation view/270811
strategies: Psychopedagogic perspectives Black, P., y Wiliam, D. (1998). Assessment
and modes of application. Journal for the and Classroom Learning. Assessment
Study of Education and Development, in Education: Principles, Policy
3(11), 4-22. [Link] & Practice, 5(1), 7-74. [Link]
03702.1980.10821803 org/10.1080/0969595980050102
Álvarez, I. (2008). Evaluación del Blair, E., y Valdez, K. (2014). Improving
aprendizaje en la universidad: una Mirada higher education practice through student
retrospectiva y prospectiva desde la evaluation systems: is the student voice
divulgación científica. Revista Electrónica being heard? Assessment & Evaluation
de Investigación Psicoeducativa, 14(1), in Higher Education, 39(7), 879-894.
235-272. [Link] [Link]
v6i14.1270 .875984
Álvarez, V., Padilla, M., Rodríguez, J., Torres, Blázquez, F., Alonso, L., y Yuste, R. (2017).
J., y Suárez, M. (2011). Análisis de la La evaluación en la era digital. Síntesis.
participación del alumnado universitario Brown, S. (2015). La evaluación auténtica:
en la evaluación de su aprendizaje. el uso de la evaluación para ayudar a
Revista Española de Pedagogía, 69(250), los estudiantes a aprender. RELIEVE,
401-426. [Link] 1(2). [Link]
Amo, D., Alier, M., García-Peñalvo, relieve.21.2.7674
F. J., Fonseca, D., y Casañ, M. J. Burns, M. (2018). 15 Benefits Of Computer-
(2020). Protected Users: A Moodle Based Testing. eLearning Industry.
Plugin to Improve Confidentiality and [Link]
Privacy Support through User Aliases. benefits-of-computer-based-testing
Sustainability, 12(6). [Link] Chetwynd, F., y Dobbyn, C. (2011).
org/10.3390/su12062548 Assessment, feedback and marking guides
Anderson, T. (2008). Towards a theory in distance education. Open Learning:
of online learning. In T. Anderson y F. The Journal of Open, Distance and
Elloumi (Eds.), Theory and practice of e-Learning, 26(1), 67-78. [Link]
online learning (2nd ed., pp. 45-74). AU /10.1080/02680513.2011.538565
Press. Chien, S. Y., Hwang, G. J., y Jong, M. S. Y.
Aznarte, J. L., y Lacruz, J. M. (2021). Vigilancia (2020). Effects of Peer Assessment within
automática de exámenes: un gran hermano the Context of Spherical Video-Based
torpe y peligroso. El País. [Link] Virtual Reality on EFL Students’ English-
com/educacion/2021-02-10/vigilancia- Speaking Performance and Learning
au t o ma t i c a -d e -e x a m e n e s -u n -g r a n - Perceptions. Computers and Education,
[Link] 146, 1-20. [Link]
Bangert-Drowns, R. L., Kulik, C.-L.C., compedu.2019.103751
Kulik, J. A., y Morgan, M. (1991). The Coll, C., Rochera, M. J., Mayordomo, R. M.,
instructional effect of feedback in test- y Naranjo, M. (2008). La evaluación
like events. Review of Educational continuada como instrumento para
Research, 61(2), 213-238. [Link] el ajuste de la ayuda pedagógica y
org/10.3102/00346543061002213

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 09-29.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 25
 L. García Aretio
¿Podemos fiarnos de la evaluación en los sistemas de educación a distancia y digitales?

la enseñanza de competencias de Research & Development, 37(3), 499-513.

autorregulación. Editorial Octaedro. [Link]
Dawson, P. (2016). Five ways to hack and .1430125
cheat with Bring-Your-Own-Device Falshikov, N. (1986). Product comparisons
electronic examinations. British Journal and process benefits of collaborative peer
of Educational Technology, 47(4), 592- group and self-assessment. Assessment
600. [Link] and Higher Education, 11, 146-166, https://
Day, I. N. Z., van Blankenstein, F. M., [Link]/10.1080/0260293860110206
Westenberg, P. M., y Admiraal, W. F. Ferguson, P. (2011). Student perceptions of
(2017). Teacher and student perceptions quality feedback in teacher education.
of intermediate assessment in higher Assessment and Evaluation in Higher
education. Educational Studies. https:// Education, 36(1), 51-62. [Link]
[Link]/10.1080/03055698.2017.138232 org/10.1080/02602930903197883
4 Friedman, A., Blau, I., y Eshet-Alkalai, Y.
Deeley, S. (2014). Summative co- (2016). Cheating and feeling honest:
assessment: A deep learning approach Committing and punishing analog versus
to enhancing employability skills and digital academic dishonesty behaviors
attributes. Active Learning in Higher in higher education. Interdisciplinary
Education, 15(1) 39-51. [Link] Journal of e-Skills and Life Long
org/10.1177/1469787413514649 Learning, 12, 193-205. [Link]
Dhawan, S. (2020). Online Learning: A org/10.28945/3629
Panacea in the Time of COVID-19 Crisis. García Aretio, L. (1987). Rendimiento
Journal of Educational Technology académico y abandono en la educación
Systems, 49(1), 5-22. [Link] superior a distancia. UNED.
org/10.1177/0047239520934018 García Aretio, L. (1994). Educación a
Dochy, F., Segers, M., y Sluijsmans, D. (1999). distancia hoy. UNED.
The Use of Self-Peer and Co-Assessment García Aretio, L. (2001). La educación a
in Higher Education: a Review. Studies in distancia. De la teoría a la práctica. Ariel.
Higher education, 24, 331-350, https:// García Aretio, L. (2017). Algunas
[Link]/10.1080/0307507991233137993 adaptaciones requeridas para la
5 evaluación de titulaciones que son
Domenech, J., Blazquez, D., de la Poza, E., impartidas a través de modalidades no
y Munoz-Miquel, A. (2015). Exploring the presenciales. Informe sobre el estado de
impact of cumulative testing on academic la evaluación externa de la calidad en las
performance of undergraduate students universidades españolas. ANECA, 101-
in Spain. Educational Assessment 104. [Link]
Evaluation and Accountability, 27(2), García Aretio, L. (2020a). La información
153-169. [Link] sobre los resultados de la evaluación.
014-9208-z El feedback. Contextos universitarios
Earl, L. M. (2013). Assessment as learning: mediados. [Link]
Using classroom assessment to maximise org/4187
student learning. Corwin Press. García Aretio, L. (2020b). Las tablas de
Espasa, A., Guasch, T., Mayordomo, R. M., especificación y las rúbricas. Contextos
Martínez-Melo, M., y Carless, D. (2018). universitarios mediados. [Link]
A Dialogic Feedback Index measuring key [Link]/4115.
aspects of feedback processes in online García Aretio, L. (2020c). De los exámenes
learning environments. Higher Education presenciales a los exámenes en línea.

26 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 09-29.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 L. García Aretio
¿Podemos fiarnos de la evaluación en los sistemas de educación a distancia y digitales?

El fraude. Contextos universitarios the role of assessment type. Higher

mediados. [Link] Education Research & Development,
org/4508. 40(2), 263-278. [Link]
García-Peñalvo, F. J. (2020). Evaluación /07294360.2020.1724899
online: la tormenta perfecta. Ensinar A Hills, J. R. (1981). Evaluación y medición en
Distância. [Link] la escuela. Kapeluzs.
García-Peñalvo, F. J., Corell, A., Abella- Holmes, N. (2017). Engaging with assessment:
García, V., y Grande, M. (2020). La Increasing student engagement through
evaluación online en la educación superior continuous assessment. Active Learning
en tiempos de la COVID-19. Education in in Higher Education, 19(1). [Link]
the Knowledge Society, 21. [Link] org/10.1177/1469787417723230
org/10.14201/eks.20202100 Hussey, I. (2017). Continuous assessment
Gessa, A. (2011). La coevaluación como in a new Testament survey course:
metodología complementaria de la Empirically informed reflections on an
evaluación del aprendizaje: análisis y Australian trial. Teaching Theology
reflexión en las aulas universitarias. Religion, 20, 230-242. [Link]
Revista de Educación 354, 749-764. org/10.1111/teth.12391
[Link] Kevereski, L. (2017). (Self) evaluation of
Gibbs, G., y Simpson, C. (2009). Condiciones knowledge in students’ population in
para una evaluación continuada higher education in Macedonia. Research
favorecedora del aprendizaje. Universitat in Pedagogy, 7(1), 69-75. [Link]
de Barcelona. Editorial Octaedro. http:// org/10.17810/2015.49
[Link]/2445/144983 Kornell, N. (2009). Optimising learning using
Gikandi, J. W., Morrow, D., y Davis, N. E. flashcards: Spacing is more effective than
(2011). Online formative assessment cramming. Applied Cognitive Psychology,
in higher education: A review of the 23(9). [Link]
literature. Computers & Education, 57, Martin, F., y Ndoye, A. (2016). Using learning
2333-2351. [Link] analytics to assess student learning in
compedu.2011.06.004 online courses. Journal of University
Glaser, R. (1963). Instructional technology Teaching & Learning Practice, 13(3), 7.
and the measurement of learning [Link]
outcomes: Some questions. American McAlpine, M. (2002). Principles of
Psychologist, 18(8), 519–521. [Link] assessment. CAA Centre, University of
org/10.1037/h0049294 Luton. [Link]
González-González, C. S., Infante-Moro, A., e McCarthy, J. (2017). Enhancing feedback
Infante-Moro, J. (2020). Implementation in higher education: Students’
of E-proctoring in Online Teaching: attitudes towards online and in-
A Study About Motivational Factors. class formative assessment feedback
Sustainability, 12(8). [Link] models. Active Learning in Higher
org/10.3390/su12083488 Education, 18(2), 127-141. [Link]
Harmon, O. R., y Lambrinos, J. (2008). Are org/10.1177/1469787417707615
Online Exams an Invitation to Cheat? McDonald, B. (2012). Self-assessment and
The Journal of Economic Education, student-centered learning. [Link]
39(2), 116-125. [Link] [Link]/fulltext/[Link]
JECE.39.2.116-125 McLaughlin, T., y Yan, Z. (2017). Diverse
Harper, R., Bretag, T., y Rundle, K. (2021). delivery methods and strong psychological
Detecting contract cheating: examining benefits: A review of online formative

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 09-29.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 27
 L. García Aretio
¿Podemos fiarnos de la evaluación en los sistemas de educación a distancia y digitales?

assessment. Journal of Computer Pintrich, P. R., y Zusho, A. (2002). Student

Assisted Learning, 33, 562-574. https:// motivation and self-regulated learning in
[Link]/10.1111/jcal.12200 the college classroom. Higher Education:
Meyen, E. L., Aust, R. J., Bui, Y. N., e Handbook of Theory and Research, XVII,
Isaacson, R. (2002). Assessing and 55-128. [Link]
monitoring student progress in an 010-0245-5_2
e-learning personnel preparation Popham, W. J. (1983). Evaluación basada
environment. Teacher education and en criterios. Magisterio Español.
special education, 25(2). 187-198. https:// Prince, D. J., Fulton, R. A., y Garsombke,
[Link]/10.1177/088840640202500210 T. W. (2009). Comparisons of proctored
Morgan, C. H., y O’Reilly, M. (1999). versus non-proctored testing strategies in
Assessing open and distance learners. graduate distance education curriculum.
Kogan y Page. Journal of College Teaching & Learning,
Nicol, D. (2010). From monologue to 6(7), 51-63. [Link]
dialogue: Improving written feedback v6i7.1125
processes in mass higher education. Quesada, R. (2006). Evaluación del
Assessment & Evaluation in Higher aprendizaje en la educación a distancia
Education, 35(5), 501-517. [Link] “en línea”. RED. Revista de Educación a
org/10.1080/02602931003786559 Distancia, 6. [Link]
Nicol, D., y Macfarlane-Dick, D. (2006). article/view/24291
Formative assessment and self-regulated Robles, M., y Braathen, S. (2002). Online
learning: A model and seven principles of assessment techniques. Delta Pi Epsilon
good feedback practice. Studies in Higher Journal, 44(1). 39-49. [Link]
Education, 31(2), 199-218. [Link] [Link]/p/93435/
org/10.1080/03075070600572090 Rodríguez, G., e Ibarra, M. S. (Eds.) (2011).
Nulty, D. (2011). Peer and self-assessment e-Evaluación orientada al e- Aprendizaje
in the first year of university. estratégico. Narcea.
Assessment and Evaluation in Higher Rovai, A. P. (2000). Online and traditional
Education, 36(5), 493-507. [Link] assessments: what’s the difference? The
org/10.1080/02602930903540983 Internet and higher education, 3, 141-
Oren, F. (2018). Self, Peer and Teacher 151. [Link]
Assessments: What is the Level of 7516(01)00028-8
Relationship Between them? European Russell, J., Elton, L., Swinglehurst, D.,
Journal of Education Studies, 0. https:// y Greenhalgh, T. (2006). Using the
[Link]/10.5281/zenodo.1249959 online environment in assessment
Panadero, E., y Alqassab, M. (2019). An for learning: a case-study of a web-
empirical review of anonymity effects based course in primary care.
in peer assessment, peer feedback, peer Assessment and Evaluation in Higher
review, peer evaluation and peer grading. Education, 31(4), 465-478. [Link]
Assessment & Evaluation in Higher org/10.1080/02602930600679209
Education, 44(8), 1253-1278. [Link] Ryan, S., Scout, B., Freeman, H., y Patel, D.
org/10.1080/02602938.2019.1600186 (2000). The Virtual University. Kogan
Pérez Juste, R. (1996). La evaluación Page.
en la Universidad. En V. García Hoz, Salvadores-Merino, C. (2019). Self-
La educación personalizada en la assessment vs. external evaluation
Universidad. Rialp, (pp. 431-478). of proficiency in English as a foreign
language among student teachers.

28 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 09-29.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 L. García Aretio
¿Podemos fiarnos de la evaluación en los sistemas de educación a distancia y digitales?

ReiDoCrea, 8(3), 324-337. [Link] Shute, V. J. (2008). Focus on formative

org/10.30827/Digibug.58464 feedback. Review of Educational
Sambell, K., Brown, S., y Graham, L. Research, 78(1), 153-189. [Link]
(2018). Professionalism in Practice: Key org/10.3102/0034654307313795
Directions in Higher Education Learning, Shute, V. J., y Becker, B. J. (2010). Prelude:
Teaching and Assessment. Palgrave assessment for the 21 st century. En V. J.
Macmillan. [Link] Shute y B. J. Becker (Eds.), Innovative
3-319-54552-3 Assessment for the 21st Century (pp. 1-11).
Sanchez, C. E., Atkinson, K. M., Koenka, A. Springer. [Link]
C., Moshontz, H., y Cooper, H. (2017). 4419-6530-1_1
Self-grading and peer-grading for Stufflebeanm, D. L., Madaus, G. F., y
formative and summative assessments Kellaghan, T. (2002). Evaluation Models:
in 3rd through 12th grade classrooms: A Viewpoints on Educational and Human
meta-analysis. Journal of Educational Services Evaluation. Kluwer Academic
Psychology, 109(8). [Link] Publishers. [Link]
org/10.1037/edu0000190 306-47559-6
Sangrá, A. (2020). Decálogo para la mejora Thomas, G., Martin, D., y Pleasants, K.
de la docencia on-line. UOC. (2011). Using self-and peer-assessment
San Martín, S., Jiménez, N., y Jerónimo, to enhance students’ future-learning in
E. (2016). La evaluación del alumnado higher education. Journal of University
universitario en el Espacio Europeo Teaching and Learning Practice, 8(1),
de Educación Superior. Aula Abierta, 1-17. [Link]
44(1), 7-14. [Link] Tillema, H. H. (2009). Assessment for
aula.2015.03.003 learning to teach: appraisal of practice
Schrum, L., Burbank, M. D., y Capps, R. teaching lessons by mentors, supervisors,
(2007). Preparing future teachers for and students teachers. Journal of Teacher
diverse schools in an online learning Education, 60(2), 155-167. [Link]
community: Perceptions and practice. org/10.1177/0022487108330551
Internet & Higher Education, 10(3), Topping, K. J. (2009). Peer Assessment.
204-211. [Link] Theory Into Practice, 48(1), 20-27. https://
iheduc.2007.06.002 [Link]/10.1080/00405840802577569
Scriven, M. (1967). The methodology of Vallés, C., Ureña, E., y Ruiz, E. (2011).
evaluation. In R. W. Tyler, R. M. Gagné, La evaluación formativa en docencia
y M. Scriven (Eds.), Perspectives on universitaria. Resultados globales de 41
curriculum evaluation (Vol. 1, pp. 39-83). estudios de caso. REDU, 9(1), 135-158.
Rand McNally. [Link]
Shuey, S. (2002). Assessing online learning in Walvoord, B. E. (2010). Assessment Clear
higher education. Journal of Instruction and Simple: A Practical Guide for
Delivery Systems, 16(2), 13-18. https:// Institutions, Departments, and General
[Link]/5lHlSNe Education. Jossey-Bass.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 09-29.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 29
 Monográfico:
Evaluación de la educación digital y
digitalización de la evaluación
Coordinadores del Monográfico
Elena Barberà-Gregori
Cristóbal Suárez-Guerrero
I.S.S.N.: 1138-2783

Evaluación de la educación digital y

digitalización de la evaluación
(Assessing Online Learning and the Digitalization of
Assessment)

Elena Barberà-Gregori
Universitat Oberta de Catalunya (España)
Cristóbal Suárez-Guerrero
Universitat de València (España)
Coordinadores del Monográfico

DOI: [Link]

Cómo referenciar este artículo:

Barberà-Gregori, E., y Suárez-Guerrero, C. (2021). Evaluación de la educación
digital y digitalización de la evaluación. RIED. Revista Iberoamericana de
Educación a Distancia, 24(2), pp. 33-40. [Link]

Resumen

La evaluación de la educación digital y digitalización de la evaluación son procesos por

el que transita tanto la educación digital como la educación digital de emergencia. Aunque el
tema de la evaluación, por sí misma, ya es complejo, esta complejidad aumenta cuando media
la tecnología digital. Lejos de pensar que se trata de una acción técnica, la evaluación digital
y la digitalización de la evaluación, como lo demuestra el contenido de este monográfico,
no se reducen a la inserción de sistemas tecnológicos, sino a la comprensión pedagógica de
su rol e impacto en los procesos educativos. Los trabajos que conforman este monográfico
buscan contribuir, desde el análisis empírico y la reflexión pedagógica, a la construcción de
una irremediable línea de trabajo que se pregunta: ¿cómo transforma, y transformamos, la
condición digital, procesos tan sensibles como la evaluación del aprendizaje mediado y la
evaluación de los sistemas educativos digitales? Al respecto, en este número se avanza en
la respuesta en torno a cuatro núcleos. Por un lado, trabajos que ponen énfasis en la nueva
exigencia digital impuesta a la evaluación en tiempos de pandemia, el papel renovado del
feedback educativo en la necesaria autorregulación con soporte tecnológico, la necesidad de
encarar con garantías la evaluación digital como condición de rendimiento y, como mecanismo
observante, la evaluación de la calidad de la educación digital. Estos trabajos sobre evaluación
educativa tienen poco de simple, mucho de complejo y bastante de complicado, pero esta es
su naturaleza y con la que hay que entender el hecho digital.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 33-40.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 33
 E. Barberà-Gregori; C. Suárez-Guerrero
Evaluación de la educación digital y digitalización de la evaluación

Palabras clave: aprendizaje; evaluación; tecnología de la educación; tecnologías de la

información y la comunicación; innovación pedagógica.

Abstract

Assessment and its digitalization are key elements of both online learning and emergency
remote teaching. On its own, assessment is a complex subject, but add digital technology and
this complexity increases tenfold. Far from a mechanical action, the assessment of online
learning and the digitalization of this process involve more than just the incorporation of
technological systems; as this special issue will show, they are concepts whose role in and
impact on teaching must be understood at a pedagogical level. Based on empirical analysis
and pedagogical reflection, the papers in this special issue seek to construct an irrefutably
important line of work that poses the question, how does the digital environment transform
sensitive processes such as ICT-mediated learning assessment and the assessment of online
learning systems, and how do we in turn transform it? The issue tackles this question from
four different angles: by highlighting the new digital demands placed on assessment in
times of pandemic; the renewed role of educational feedback in the ICT-based self-regulated
learning required; the need to move towards e-assessment as a guarantee of performance, and
the evaluation of the quality of online learning as a watchdog mechanism. As the special issue
on learning assessment shows, the topic is full of challenges, but that is the nature of the beast,
so to speak, and how one must approach all things digital.

Keywords: learning; assessment; education technology; information and communication

technologies; pedagogical innovation.

Al escribir este artículo es imposible dejar de sopesar el cambio inédito y global

que toda la humanidad encara hoy. Los cambios que impone, y los que llegarán,
no son aspectos accesorios, sino que esta pandemia por COVID-19 está generando
el replanteamiento de nada más y nada menos que nuestras relaciones sociales. ¿Y
qué es la educación en esencia sino una práctica social, básica, sustancial y aquella
por la que nos humanizamos? Alojados en este cambio de época impuesto por esta
pandemia, estamos tomando, como nunca, una serie de decisiones basadas en
procesos de evaluación cada vez más constantes, más fundados, pero no por ello
alejados de incertidumbre, que a su vez guían muchos procesos como la propia salud,
la conducta social, la gestión del estado, la dinámica económica y más aspectos de
la vida diaria. La educación, específicamente la educación formal, como no se trata
de una entidad abstracta, ha sido presa de los cambios y, en general, por ensayo y
error, hemos diseñado de manera muy rápida, una educación digital de emergencia
(Hodges et al., 2020). No obstante, esta forma de educar propia de la pandemia
no es la educación digital que de forma sistemática y empírica viene, desde hace
tres décadas, creando otros escenarios de educación, especialmente en la educación
universitaria. La educación digital de emergencia no sería la educación digital en

34 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 33-40.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 E. Barberà-Gregori; C. Suárez-Guerrero
Evaluación de la educación digital y digitalización de la evaluación

sí misma, esta es una primera valoración que hay que tener en cuenta respecto a la
digitalización de los procesos de evaluación educativa.
Aunque la educación digital de emergencia no sea la educación digital
propiamente dicha es, sin duda, parte de la actual realidad educativa. Lo digital,
para muchos sectores de la vida, ha representado una salida a la crisis, pero no la
solución. Los problemas estructurales de la educación y la escuela siguen ahí, es
más, en cierto modo han aumentado por la crisis. Sin embargo, la crisis sanitaria
está dejando en evidencia, acentuada en la conciencia colectiva, que la condición
digital ya forma parte ineludible de nuestro imaginario educativo y que es tiempo
de encarar una reflexión sobre su mejora e impacto. Este monográfico forma parte
de esta línea de reflexión inexorable sobre cómo transforma, y transformamos, la
condición digital de la evaluación tanto del aprendizaje mediado, así como de los
sistemas educativos digitales.
Ahora bien, todos tenemos una idea más o menos certera sobre cómo o qué
debe ofrecer una universidad y una clase presencial, pero, ¿qué ocurre cuando se
digitaliza?, ¿cuáles son esos mínimos, los criterios o las expectativas, que deben
de cumplir la experiencia de aprendizaje digital o el sistema educativo digital? La
situación ha llevado a atender, desde distintas miradas y ritmos de trabajo, cambios
y aceptar la digitalización de la experiencia universitaria como parte de una nueva
normalidad.
Por ejemplo, la Agencia Nacional de Evaluación de la Calidad y Acreditación
(ANECA) de España, a través de diversas directrices, ha tenido que acelerar sus
respuestas y su comprensión sobre la nueva educación digitalizada. En este proceso,
la exigencia evaluativa ha sido la constante: ¿cómo cumplir con un estándar
universitario cuando el contexto donde se desarrollaba ha desaparecido y ha sido
reemplazado por una interfaz digital? En un documento publicado al inicio de la
pandemia, la ANECA señalaba sobre la evaluación del aprendizaje que “parece
adecuado optar por métodos alternativos al examen único: evaluación continua,
seguimiento directo, trabajos individuales o en grupo, entrevistas de tú a tú, etc.”
(2020, p. 8) y, señalaba que una de las claves de la salvaguardia de la calidad de los
modelos online y modelos mixtos de aprendizaje, en tiempos de pandemia residían
no tanto en la revisión externa, sino en la evaluación de los sistemas internos, la
autoevaluación. Esto es, lo digital, tanto en la educación como especialmente en la
praxis evaluativa, no es un asunto técnico o solo de herramientas, implica cambios en
la forma de pensar la educación, sus expectativas, sus metas, su alcance, su impacto.
La evaluación de la educación digital y digitalización de la evaluación, por tanto,
requiere marcos de comprensión renovados, con o sin pandemia. En este marco
de modernización de la evaluación en ámbitos educativos emerge también, en los
últimos años, el uso de ciertos conocimientos que provienen de otras disciplinas.
A las áreas clásicas desde donde se perfila la praxis evaluativa, como la pedagogía,
la psicología del aprendizaje, la gestión escolar, la sociología o la estadística, la
condición digital añade otras áreas de conocimiento como las matemáticas, la

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 33-40.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 35
 E. Barberà-Gregori; C. Suárez-Guerrero
Evaluación de la educación digital y digitalización de la evaluación

inteligencia artificial, la ingeniería de sistemas, el diseño, la comunicación mediada

por tecnología, la bibliometría, entre otras, que vendrían a mejorar el planteamiento,
desarrollo y representación de los procesos evaluativos y de sus resultados. Existen
muchos avances, aunque sean rezagadas promesas todavía de tímida aplicación, que
espolean el discurso y práctica de la evaluación en el campo educativo. Y más que
referirnos aquí a sus concreciones, como si de un producto final se tratara, preferimos
fijarnos en su capacidad de transformación desde su fundamento y una manera de
hacerlo es abordar qué es lo que mejoran de manera sustantiva estas propuestas
evaluativas apoyadas por lo digital. Ello nos lleva a plantear una suerte de análisis
del campo de la evaluación y sugerir qué ámbitos de progreso son necesarios estimar.
Habiendo de elegir mejoras de esencia pero que sean a la vez posibles en un
futuro próximo, nos fijamos en determinar ciertas características de lo que serían
los entornos avanzados de evaluación y, en concreto, de la calidad del aprendizaje
que constituye la única meta educativa. Entendemos que, en el marco de la sociedad
digital, la digitalización de los procesos mediadores dirigidos a los profesores y los
alumnos deberá materializarse en propuestas que lleguen a ofrecerse de manera
altamente integrada, hecho que actualmente solo se deja entrever, de manera
dispersa, y en contadas ocasiones.
Los entornos avanzados de evaluación digitalizada de los aprendizajes (lugar,
estado o manera de proceder de un modo automatizado, fluido y efectivo mediado
por las TIC) deberían no solo cumplir sino superar, en estos momentos, requisitos
exigidos desde la investigación y la práctica educativas desde hace mucho tiempo y
que todavía son recurrentes en informes actuales por su escasez (Tiven et al., 2018).
Nos referimos a aspectos conocidos pero complejos de introducir de manera decidida
en nuestras propuestas evaluativas en su globalidad y en los que la tecnología ha
jugado un papel ambivalente ayudando, pero al mismo tiempo limitando, su puesta
en el campo educativo.
Apuntamos a conocidos constructos que de la mano de la digitalización se tornan
en verdaderos ámbitos de progreso en el ámbito de la evaluación educativa, como por
ejemplo, el diseño explícito de la contextualización (evaluación auténtica); la apuesta
por la complejidad cognitiva versus el resumen excesivo de contenidos (habilidades
complejas, dejando atrás la linealidad de las evaluaciones e incluso el tiempo ajustado);
el balance de los planteos de personalización y al mismo tiempo de socialización
(superando la constrictiva individualización, abogando por la evaluación adaptativa
avanzada y llegando a la supervisión de lo aprendido); evaluación formadora
(aprender a evaluarse teniendo herramientas eficaces para ello: de representación,
analíticas de aprendizaje, etc.); autorregulación y co-regulación (basada en el
estudiante, no en el programa o profesor). En estos momentos se manifiestan
avances sobre aspectos como el feedback oral, la corrección automatizada que puede
llevar a la auto-puntuación y un uso más generalizado del big data y las analíticas de
enseñanza y aprendizaje o el planteamiento de una evaluación educativa “smart”.
Todo ello para llegar a una presentación de entornos de evaluación más orgánicos

36 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 33-40.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 E. Barberà-Gregori; C. Suárez-Guerrero
Evaluación de la educación digital y digitalización de la evaluación

que equilibre parte de las inversiones de trabajo docente y de los mismos sistemas
educativos.
Como se puede ver, tanto la evaluación de la educación digital y la digitalización
de la evaluación del aprendizaje no se reducen a la inserción de sistemas tecnológicos,
sino a la comprensión pedagógica de su rol e impacto en los procesos educativos.
Será necesario articular una comprensión que admita, como señala Bates (2018),
que la evaluación del aprendizaje digital, como la calidad de la educación digital,
aunque sea asistida de forma tecnológica no es una ciencia exacta.
Admitida la naturaleza inferencial de la evaluación por parte de profesores
y también de estudiantes (Khine, 2018), la puesta en práctica de una agenda de
progreso presenta una alta complejidad para el profesor; complejidad que mantiene
un equilibrio irregular si se atiende al interés declarado muchas veces por los
estudiantes y también, a la mejora cualitativa de los procesos de evaluación educativa
con tecnología. No siendo garantía de buenos resultados, por lo menos a corto plazo,
a nadie se le escapa que existe una, todavía, amplia brecha entre práctica y medida,
a pesar de los considerables progresos realizados en el ámbito de los instrumentos
de medición del aprendizaje, los recursos, el profesorado y la calidad en la esfera
educativa. En este marco la tarea consiste en investigar, reflexionar y aplicar modelos
que permitan ver de nuevo la educación desde la novedad digital.
Por ello, para la presentación global de los distintos artículos nos parece
sugerente hacer el ejercicio de aplicar, entre todos, las dimensiones de lo simple,
lo complicado, lo complejo y lo caótico apuntado en el marco conceptual Cynefin
(Snowden, 2000). En nuestro caso esta práctica ayudaría a caracterizar, aunque
de un modo genérico, la naturaleza de los cambios propuestos en el marco de la
evaluación educativa acompañada de TIC que plantean los artículos seleccionados.
De manera muy resumida, en una realidad educativa diversa, compleja,
conectada, adaptable y ahora un tanto caótica, lo simple abordaría problemáticas
que identifican fácilmente sus causas y sus efectos, y también sus soluciones. En
ese ámbito existe una respuesta correcta, conocida y compartida, aceptada más por
costumbre que por indiscutible que en muchas ocasiones viene representada por las
buenas prácticas en el campo de la evaluación. Lo complicado es lo que presentando
muchos detalles supone una gran dificultad para ser entendido, explicado o resuelto,
hecho que conlleva a distintas soluciones para un mismo problema, normalmente a
través de técnicas más sofisticadas. Lo complejo se caracteriza por la combinación de
distintos elementos muchas veces de distinta naturaleza, por lo que requiere análisis
y experimentación, lo que desemboca en propuestas singulares. Lo caótico queda
representado por prácticas evaluativas de frontera, donde no solo no hay soluciones
estándar, sino que están al filo de la creación de nuevo conocimiento, hecho que no
garantiza el éxito pero, eso sí, son fruto de una visión abierta e interdisciplinaria que
supone una reacción rápida ante una realidad acuciante.
Es en esta línea de reflexión que caben los trabajos aportados en este
monográfico que se presentan brevemente a continuación. Como se verá en los

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 33-40.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 37
 E. Barberà-Gregori; C. Suárez-Guerrero
Evaluación de la educación digital y digitalización de la evaluación

artículos la evaluación educativa tiene poco de simple, mucho de complejo y

bastante de complicado; y no nos pronunciamos sobre lo caótico por falta de una
teoría subyacente de definido interés y proyección, pero en la que nos hemos podido
ver implicados en el contexto pandémico actual al tener que reaccionar, con carácter
de urgencia, ante lo impredecible.
Para empezar, es en este marco más incierto generado por la pandemia que se
pueden situar tres artículos del monográfico que hacen referencia a una evaluación
de emergencia en el marco del COVID-19. Los trabajos son: Planificación,
comunicación y metodologías activas: Evaluación online de la asignatura ingeniería
de software durante la crisis del COVID-19, de Francisco José García-Peñalvo, Alicia
García-Holgado y Andrea Vázquez-Ingelmo; Evaluación Remota de Aprendizajes
en la Universidad: decisiones docentes para encarar un nuevo desafio, de Gisela
Schwartzman, Carolina Roni, Michelle Berk, Erica Delorenzi, Mariana Sánchez,
María Laura Eder y José Carlos Sánchez-Prieto; y Validación de una plataforma de
evaluación formativa de la competencia digital docente en tiempos de Covid-19, de
Virginia Viñoles-Cosentino, Francesc M. Esteve-Mon, María Ángeles Llopis-Nebot,
Jordi Adell-Segura. Aunque cada uno de estos trabajos realiza una aportación sobre
objetos de estudio evaluativo diferente, la constante en este grupo es el reto de
comprender, de cara a tomar decisiones, sobre la normalización de la evaluación
digital.
Otro segmento de trabajos lo pueden conformar los que estudian el feedback
educativo. En un primer plano tenemos a: Procesos de feedback para fomentar
la autorregulación con soporte tecnológico en la educación superior: Revisión
sistemática, de Begoña Gros Salvat y Elena Cano y ¿Cómo implicar a los estudiantes
para que utilicen el feedback online?, de Anna Espasa, Teresa Guasch. Ambos
trabajos abordan la necesidad de plantear el reto evaluativo que supone el aprendizaje
autorregulado con tecnología que, en buena cuenta, es una de las mayores esperanzas
puesta en la potencialidad digital para favorecer un aprendizaje continuado a lo largo
de la vida. En otro artículo, asociado al tema del refuerzo, titulado Peer Assessment
as a Tool to Enhance Pre-Service Primary Bilingual Teachers’ Training de Cristina
Aránzazu Huertas-Abril, Francisco Javier Palacios-Hidalgo y María Elena Gómez-
Parra, se ahonda en la percepción de ese mismo mecanismo en el marco de la
evaluación por pares en la formación inicial de los profesores de lenguas.
En la línea de evaluación formativa con tecnología, los artículos: La evaluación de
la educación virtual: las e-actividades, de Julio Cabero-Almenara y Antonio Palacios-
Rodríguez, Rendimiento académico y deserción de estudiantes universitarios de un
curso en modalidad virtual y presencial, de Eduardo Fabio Gonzales-López e Inés
Evaristo Chiyong y una experiencia de diseño de una tarea de evaluación sumativa
en formato transmedia para formación inicial de profesorado, de Linda Castañeda,
ponen el foco de mira en la necesidad integrar el proceso de evaluación del aprendizaje
virtual en el marco de la noción de e-actividades, gestionar pertinentemente la
evaluación sumativa, resaltando aspectos cruciales sobre la función social de la

38 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 33-40.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 E. Barberà-Gregori; C. Suárez-Guerrero
Evaluación de la educación digital y digitalización de la evaluación

evaluación como el rendimiento y el abandono, pero también aportan una reflexión

y análisis de elementos sobre el diseño de contenidos digitales de las tareas cuanto
eje vertebrador de las intenciones educativas.
Para cerrar el monográfico se presentan dos artículos relativos a la calidad
educativa en la Educación Superior mediada por tecnología: Calidad en e-Learning:
Un modelo para su evaluación en Educación Superior, de Alberto Ortiz-López,
Susana Olmos-Migueláñez, José Carlos Sánchez-Prieto y Auditorías virtuales en
el Programa de Sellos Internacionales de Calidad (SIC) de ANECA en tiempos de
pandemia, de Ana Isabel Bonilla Calero, María Ángeles Serrano-García. La primera
es de corte más institucional y focalizado en el estudio de dimensiones de calidad
educativa del e-learning y el otro más centrado en el sistema educativo como tal
atendiendo a los procesos de evaluación desde una agencia de calidad.
Por último, comentar que es interesante observar que no se han recibido
propuestas de artículos sobre materiales, recursos o dispositivos digitales referidos
a la evaluación como se podía esperar en una convocatoria abierta en la que la
digitalización ocupa un espacio importante. Existen muchas posibles explicaciones
y, sin obviar ninguna de ellas, los editores de este monográfico se decantan por
pensar que estos aspectos más técnicos se encuentran entre “lo simple”, que sería
lo mismo que decir que son realidades que, a pesar de su naturaleza cambiante, se
perciben abordables y solucionables. Desde esta visión, se apunta a que la tecnología
en sí misma, no preocupa excesivamente, como tampoco los contenidos educativos
por ser los profesores-investigadores dominantes del conocimiento que imparten.
Pero sí que se refleja que existe todo un diálogo de interés entre lo complejo y lo
complicado siendo clara protagonista la metodología docente, evaluativa en este
caso, en la manera de enseñar-evaluar el aprendizaje de los estudiantes en un marco
de calidad evaluativa digital.

REFERENCIAS

ANECA (2020). Estrategia de ANECA difference-between-emergency-remote-

para el aseguramiento de la calidad teaching-and-online-learning
en la enseñanza virtual. [Link] Khine, M. S. (2018). International trends
[Link]/Sala-de-prensa/Noticias/2020/ in Educational Assessment: Issues and
Estrategia-de-ANECA-para-el- Practice. Bill Publishing. [Link]
aseguramiento-de-la-calidad-en-la- org/10.1163/9789004393455
ensenanza-virtual Snowden, D. (2000). Cynefin: A sense of time
Bates, A. T. (2018). Teaching in a digital and space, the social ecology of knowledge
age: Guidelines for designing teaching management. En C. Despres y D. Chauvel
and learning. Tony Bates Associates. (Eds.), Knowledge Horizons: The
Hodges, C., Moore, S., Lockee, B., Trust, T., y Present and the Promise of Knowledge
Bond, A. (2020). The difference between Management. Butterworth Heinemann.
emergency remote teaching and online [Link]
learning. Educause Review, 27. https:// 7247-4.50015-X
[Link]/articles/2020/3/the-

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 33-40.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 39
 E. Barberà-Gregori; C. Suárez-Guerrero
Evaluación de la educación digital y digitalización de la evaluación

Tiven, M. B., Fuchs, E. R., Bazari, A., y Framework. Bloomberg Philanthropies

MacQuarrie, A. (2018). Evaluating Global and the Organisation for Economic Co-
Digital Education: Student Outcomes operation and Development.

PERFIL ACADÉMICO Y PROFESIONAL DE LOS AUTORES

Elena Barberà Gregori. Doctora en Psicología por la Universitat de Barcelona.

Catedrática de Psicología Educativa, actualmente es la directora del programa del
doctorado en Educación y TIC en la Universidad Oberta de Catalunya. Sus áreas
de investigación son regulación educativa, evaluación del aprendizaje en línea e
interacción educativa.
E-mail: ebarbera@[Link]

DIRECCIÓN DE LA AUTORA
Estudios de Psicología y Ciencias de la Educación
Universitat Oberta de Catalunya
Rambla del Poble Nou, 156
08018 Barcelona

Cristóbal Suárez-Guerrero. Doctor en Educación, procesos de formación en

espacios virtuales por la Universidad de Salamanca y profesor del Departamento
de Didáctica y Organización Escolar de la Universitat de València. Sus áreas de
investigación y desarrollo educativo son pedagogía digital, cultura educativa digital,
competencia digital e innovación didáctica con tecnología.
E-mail: [Link]@[Link]

DIRECCIÓN DEL AUTOR

Facultat de Magisteri
Universitat de València
Av. Tarongers, 4 - 46022
València - España

Fecha de recepción del artículo: 16/03/2021

Fecha de aceptación del artículo: 16/03/2021
Fecha de aprobación para maquetación: 18/03/2021

40 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 33-40.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
I.S.S.N.: 1138-2783

Planning, Communication and Active

Methodologies: Online Assessment of the
Software Engineering Subject during the
COVID-19 Crisis
(Planificación, comunicación y metodologías activas:
Evaluación online de la asignatura ingeniería de
software durante la crisis del COVID-19)

Francisco José García-Peñalvo

Alicia García-Holgado
Andrea Vázquez-Ingelmo
José Carlos Sánchez-Prieto
GRIAL Research Group, University of Salamanca, USAL (Spain)

DOI: [Link]

How to reference this article:

García-Peñalvo, F. J., García-Holgado, A., Vázquez-Ingelmo, A., & Sánchez
Prieto, J. C. (2021). Planning, communication and active methodologies: Online
assessment of the software engineering subject during the COVID-19 crisis. RIED.
Revista Iberoamericana de Educación a Distancia, 24(2), pp. 41-66. [Link]
org/10.5944/ried.24.2.27689

Abstract

The coronavirus pandemic has had a high impact worldwide. The health crisis has not only
had an impact on people’s own health and on health systems, but has also affected other areas.
In the educational context, the lockdown measures implemented by different governments
have challenged the learning ecosystem. In the case of higher education in Spain, with a
strong attendance factor in most public universities, face-to-face classes were interrupted
after a month in the second term, ending the academic year in the online mode. This change
has meant a great effort on the teachers’ side to transform the face-to-face teaching into the
online approach, which in many cases has meant quite a comprehensive new design of the
subject, changing the evaluation process and the methodologies used. This work presents
a success case of online assessment developed in the Software Engineering I subject of the
Degree in Computer Engineering at the University of Salamanca. The objective is to show how
the previous use of active methodologies and the integration of educational technologies in
classroom-based teaching facilitates the transformation of assessment to an online or blended

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 41-66.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 41
 F. J. García-Peñalvo; A. García-Holgado; A. Vázquez-Ingelmo; J. C. Sánchez-Prieto
Planning, Communication and Active Methodologies: Online Assessment of the Software Engineering Subject during...

approach while maintaining a high degree of student involvement and satisfaction. After
presenting a comparison between the face-to-face approach and the adaptation to the online
approach, an analysis is made of the learning results and student satisfaction concerning
previous academic years. The results show that the change of approach has not reduced the
satisfaction results obtained in previous courses. In terms of learning outcomes, there is an
overall increase in the grades obtained by students in all assessment items.

Keywords: computer science; e-Learning; higher education; online assessment; teaching

experience; teaching method.

Resumen

La pandemia de coronavirus ha tenido un alto impacto a nivel mundial. La crisis sanitaria

no solo ha tenido un impacto en la propia salud de las personas y en los sistemas de salud,
sino que ha afectado a otros ámbitos. En el contexto educativo, las medidas de confinamiento
implementadas por los diferentes gobiernos han supuesto un reto para el ecosistema de
aprendizaje. En el caso de la educación superior en España, con un fuerte componente
presencial en la mayoría de las universidades públicas, se interrumpieron las clases presenciales
un mes después del inicio del segundo cuatrimestre, finalizando el curso académico en
modalidad online. Este cambio ha supuesto un gran esfuerzo por parte de los docentes para
transformar la enseñanza presencial al enfoque online, lo que en muchos casos ha supuesto un
rediseño casi integral de la asignatura, cambiando el proceso de evaluación y las metodologías
utilizadas. El presente trabajo presenta un caso de éxito de evaluación online desarrollado en
la asignatura Ingeniería de Software I del Grado en Ingeniería Informática de la Universidad
de Salamanca. El objetivo es sustentar cómo el uso previo de metodologías activas y la
integración de tecnologías educativas en la docencia presencial facilita la transformación de
la evaluación a un enfoque online o mixto, a la par que mantiene un alto grado de implicación
y satisfacción por parte de los estudiantes. Para ello, tras presentar una comparativa entre el
enfoque presencial y la adaptación al enfoque online, se realiza un análisis de los resultados de
aprendizaje y la satisfacción de los estudiantes respecto a los cursos académicos previos. Los
resultados muestran que el cambio de enfoque no ha mermado los resultados de satisfacción
obtenidos en los cursos anteriores. En cuanto a los resultados de aprendizaje, hay un aumento
general de las calificaciones obtenidas por los estudiantes en todos los ítems de evaluación.

Palabras clave: informática; educación superior; eLearning; evaluación online; experiencia

pedagógica; método de enseñanza.

The current health crisis caused by the SARS-CoV-2 pandemic has affected all
areas of society worldwide. The UN Educational, Scientific and Cultural Organization
estimated in April 2020 that 138 countries closed schools nationwide, and several
other countries implemented regional or local closures (Van Lancker & Parolin,
2020). In Spain’s case, on March 14, 2020, the government declared a state of
emergency in the country (Gobierno de España, 2020), which involved, among other

42 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 41-66.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 F. J. García-Peñalvo; A. García-Holgado; A. Vázquez-Ingelmo; J. C. Sánchez-Prieto
Planning, Communication and Active Methodologies: Online Assessment of the Software Engineering Subject during...

measures, the closure of schools and universities (Zubillaga & Gortazar, 2020). It is
important to note that under the State of Alarm, this quarantine has been extended
every 15 days, so that, during the first month, there was no information about the
return to classrooms. Likewise, the University of Salamanca was closed on Thursday,
March 12, at midday.
The suspension of classes and the impossibility of accessing the university
buildings meant the transformation of teaching in two major phases. The first phase
marked by the emergency of giving an almost immediate response, without having
time to plan and redesign the subjects (Llorens-Largo, 2020). Institutions took steps
to inform, reassure and maintain contact with students, meanwhile they worked in
ramping up their ability to teach remotely (Daniel, 2020).
The second phase was marked by the decision to carry out a non-attendance
evaluation and to end the distance learning course (Abella García et al., 2020;
Fardoun et al., 2020). This decision not only affected face-to-face universities but
also had a great impact on universities that offer online higher education degrees
since non-attendance evaluation is one of the most complex aspects to manage.
In fact, most distance or online universities based their evaluation processes on
formats that required the physical presence of those who chose to pass these tests
(García-Peñalvo et al., 2020). Furthermore, the COVID-19 crisis has revealed digital
inequalities among students (Beaunoyer et al., 2020), so institutions and teachers
have also faced problems not directly related to the methodology or the assessment.
According to Rodicio-García et al. (2020), one in three students, despite having
technology in their home, say they do not have the necessary resources.
On the other hand, the crisis has revealed a lack of innovative methodologies and
an assessment based on a continuous approach instead a final objective test (García-
Peñalvo & Corell, 2020). Although there are works that present the use of active
methodologies in higher education, and particularly in the context of computing
engineering (Fonseca & Gómez, 2017; García-Peñalvo et al., 2019; Lacuesta et
al., 2009; Martínez et al., 2006), this cannot be generalized to the entire teaching
community. Moreover, there are some examples of blended an online approaches,
mainly based on flipped classroom (Gren, 2020) and project-based learning (Alfaro
et al., 2019; Moreno-Ruiz et al., 2019).
In this context, this work aims to show how the use of active methodologies and
the integration of educational technologies in classroom-based teaching, not only
enables a continuous assessment approach, but also facilitates the transformation to
an online or blended assessment approach while maintaining a high degree of student
involvement and satisfaction. This work describes a particular case, the adaptation
to the online modality of the Software Engineering I subject (taught in the second
year of the Degree in Computer Engineering at the University of Salamanca) during
the COVID-19 confinement in Spain. This subject focuses on the first phases of the
life cycle of information systems; conception, requirements elicitation, and analysis.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 41-66.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 43
 F. J. García-Peñalvo; A. García-Holgado; A. Vázquez-Ingelmo; J. C. Sánchez-Prieto
Planning, Communication and Active Methodologies: Online Assessment of the Software Engineering Subject during...

The rest of the work has been organised into four other sections. The second
section makes a comparative description between the face-to-face mode and the
transformation to online. The third section presents the feedback received from the
students and the learning results. Finally, the last section contains the discussion
and the main conclusions of the work.

MODALITIES COMPARISON

The transformation into the online approach was based on maintaining the same
assessment design but adapted to the impossibility to plan face-to-face activities.
The Figure 1 summarizes the changes introduced in the subject.

44 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 41-66.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 F. J. García-Peñalvo; A. García-Holgado; A. Vázquez-Ingelmo; J. C. Sánchez-Prieto
Planning, Communication and Active Methodologies: Online Assessment of the Software Engineering Subject during...

Figure 1
Summary of the transformation from face-to-face to online approach

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 41-66.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 45
 F. J. García-Peñalvo; A. García-Holgado; A. Vázquez-Ingelmo; J. C. Sánchez-Prieto
Planning, Communication and Active Methodologies: Online Assessment of the Software Engineering Subject during...

Planning and communication

The subject’s adaptation to online mode has been carried out in three phases.
The first adaptation was made on March 12 to provide students with an online work
plan until the beginning of the non-teaching period of Easter (3-13 April). Then,
an update of the planning until the end of the academic year was made. Finally, a
third update of the planning was carried out to incorporate all the details of the non-
attendance evaluation associated with the final exams.
This work plan has been organised by weeks and has been shared comprehensively
in an addendum to the programming and assessment document of the subject so
that students have had access to it from the very beginning. This document has been
complemented with constant communication through the forum of notices and news
of the institutional virtual campus, within the space of the subject, so that weekly the
students received detailed and extended information for the work of that week. It is
also important to mention that the online work plan was presented in a synchronous
session on March 13, in which most of the students participated and recorded for
later consultation.
Finally, the students’ communication has been based on three main pillars: the
tools provided by the virtual campus, the coordination with the delegate, and the
group tutoring described below.

Active methodologies

Since the 2016-2017 academic year, the Software Engineering I subject has
implemented a set of active methodologies. In particular, it has been implemented
through autonomous learning, collaborative learning with some cooperative learning
techniques on specific issues, flip teaching approach for the theoretical part of the
subject, and project-based learning (PBL) (Daun et al., 2016; Estruch & Silva, 2006;
Macias, 2012). The design of the subject is based on a software engineering project
that students develop in groups across the whole semester. This has an impact on
improving learning outcomes in comparison to previous courses (García-Holgado et
al., 2018; García-Holgado et al., 2019; Vázquez-Ingelmo et al., 2019).
This methodological change is based on the technological ecosystem (García-
Peñalvo, 2018) provided by the University of Salamanca. In particular, the
institutional virtual campus, based on Moodle 3.1, combined with institutional
accounts that allow the use of Google Drive (García-Holgado et al., 2019).
The use of the above active methodologies with strong integration with
educational technologies has allowed adaptation to the online format to follow an
approach similar to the already planned approach for its development in face-to-
face classes. The main activities and evaluation milestones and how they have been
adapted to the online modality are detailed below. Also, Figure 1 summarizes each
element to provide an overview of the design of the subject.

46 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 41-66.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 F. J. García-Peñalvo; A. García-Holgado; A. Vázquez-Ingelmo; J. C. Sánchez-Prieto
Planning, Communication and Active Methodologies: Online Assessment of the Software Engineering Subject during...

1. Class attendance and participation

Participation in the classroom sessions is one of the key elements of the course
since a large part of the sessions are devoted to problem-solving and the development
of the final project, so attendance at these sessions positively impacts learning
outcomes. Thus, the active approach proposed implies attending at least 75% of the
sessions and participating in them.
On the other hand, in the online period, the synchronous sessions’ attendance has
not been counted. However, the greater weight has been given within the continuous
assessment of the participation in the different activities planned asynchronously.

2. Theory

Although the sessions dedicated purely to theory have been reduced to give way
to more active approaches, the subject has a high theoretical load, and there are
still many contents that are worked on during synchronous sessions. Although most
of the basic concepts were seen during the face-to-face period, two synchronous
sessions have been held using the Blackboard Collaborate tool integrated into the
institutional virtual campus. The sessions have been recorded so that they can be
viewed at any time.
Also, the synchronous sessions have been complemented with a set of video clips,
mainly focused on concepts needed to develop the last milestone of the final project.

3. Final project

The final project guides the development of the whole course, so that theory and
practice are organised around the different deliveries that are made throughout the
course. In particular, the final project is divided into three milestones, each of which
is evaluated, giving feedback to the students and allowing the project’s continuous
improvement, as if it were a real project. The project is carried out in teams of 3
people and consists of developing a software engineering analysis model on a specific
topic.
All the necessary materials to develop each of the milestones are available on the
institutional virtual campus. Besides, Google Drive is used as a workspace, so that
each group has a shared folder in which they must upload the materials and prepare
the technical report in a shared Google Docs document, which allows them to track
the work of each team member. Using the shared document also facilitates feedback
from the teaching team, using suggestions and comments to evaluate each of the
milestones.
As part of the teaching innovation project financed by the University of Salamanca
and developed during the 2019-2020 academic year (ID2019/011), the Trello tool

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 41-66.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 47
 F. J. García-Peñalvo; A. García-Holgado; A. Vázquez-Ingelmo; J. C. Sánchez-Prieto
Planning, Communication and Active Methodologies: Online Assessment of the Software Engineering Subject during...

was added to the technological ecosystem of the course, so that each workgroup
could manage the organisation and planning of the tasks associated with the final
work through this online tool.
Most of the sessions are dedicated to teamwork in the classroom so that the
teaching team attends to each group’s doubts in a personalised way and guides
the development of the project. Moreover, the first sessions in this modality apply
a cooperative learning technique to carry out a brainstorming to define each final
project’s particular objectives.
From the technological point of view, the adaptation to online mode has not
meant significant changes, since Google Drive and Trello allow for distance work.
A set of video clips on Google Meet has been provided for video conferences and
integration of UML modelling applications with Google Drive to instruct students in
teleworking. These clips are available in a playlist on the GRIAL Research Group’s
YouTube channel ([Link]
Regarding teamwork sessions in the classroom, synchronous group tutoring have
been replaced through Google Meet. These tutoring, with a weekly frequency and a
duration of 15 minutes per group, have made it possible to maintain personalised
follow-up, giving better results than the face-to-face sessions carried out in previous
courses. The tutorials were included in the work plan. A Google calendar was also
used; each of the tutoring was created with the corresponding link to Google Meet
and the personalised invitation to the group members.
The tutoring dynamic is focused on solving doubts and making recommendations
regarding the work done so that each group develops the work at its own pace. Access
to shared documents on Google Drive has facilitated this task.
Finally, each milestone’s beginning has been accompanied by an explanatory
video where the tasks to be carried out are presented, and a set of recommendations
are given.

4. Tutoring

The group tutoring, aimed at the final project, have been complemented with
individual tutoring, mainly through e-mail and the forum of doubts set up in the
virtual campus since the beginning of the course. Regarding traditional face-to-face
tutoring, they have been replaced by videoconferences on demand.

5. Workshops

Workshops are sessions focused on problem-solving. Students actively participate

in reaching the correct solution, specifically, the modelling in UML of a previously
posed statement (García-Peñalvo & Moreno, 2004). The modelling problem is made
available to students through the virtual campus one week before the face-to-face

48 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 41-66.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 F. J. García-Peñalvo; A. García-Holgado; A. Vázquez-Ingelmo; J. C. Sánchez-Prieto
Planning, Communication and Active Methodologies: Online Assessment of the Software Engineering Subject during...

session. Each group of practices (the same as for the final project) must propose
their solution and submit it through the campus before the session.
During the session, a group goes out to the blackboard to draw their proposal.
This group is randomly chosen from all those who volunteer. Once the initial solution
is presented, the rest of the groups indicate which parts they have solved differently
or ask questions about the discussed solutions. In this way, the teacher guides the
process until the correct solution or solutions are reached.
The adaptation of this dynamic to the online mode is one of the most significant
changes compared to the face-to-face approach. The first part of the workshop
remains the same; the statement and delivery of each group’s solution are made
through the virtual campus. Concerning the classroom dynamic, it is replaced by a
forum on the virtual campus where the volunteer team presents its solution through
a video recorded by all group members. Then, a discussion period is opened (2-3
days) in which other groups comment and share specific parts of their solutions.
Once the discussion period is over, one of the teaching team members makes a video
explaining the correct solution. This video starts with the volunteer team’s solution,
drawn on sheets of paper or a whiteboard. Subsequently, the different proposals
from the rest of the groups are presented, explaining the correct solution.
As for the volunteer team, once the workshop’s delivery period is over, a survey
is set up in the virtual campus for the groups to volunteer. The survey is available for
24 hours. Once this period has ended, a random draw is made online, and the chosen
group has two days to make the explanation video.

6. Problem solving in the classroom

Workshops are complemented by face-to-face sessions in which UML modelling

exercises are solved. The dynamics vary between sessions but usually combine
presentations of a solution by the teacher and students’ volunteers who present their
solution to the rest of the class.
These sessions are the basis of several evaluation tests, both continuous and final,
so their adaptation to the online format will significantly impact learning outcomes.
Thus, instead of conducting synchronous sessions where the teacher would solve the
exercises, nine video clips of between 5-10 minutes were recorded so that each pill
corresponds to a modelling statement whose solution is available as a study material.
The clips’ aim is to explain the modelling decisions, the possible mistakes that can be
made, and the correct use of the UML notation.
Besides, students’ active participation in the resolution of these exercises has
been replaced by four forums on the virtual campus, each forum associated with a
UML modelling problem, so that individually and as part of continuous assessment,
students could pose their solutions. The forums remained open for ten days.
Once the period ended, a video was made commenting on the main errors
detected in the proposals made and explaining the correct solution.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 41-66.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 49
 F. J. García-Peñalvo; A. García-Holgado; A. Vázquez-Ingelmo; J. C. Sánchez-Prieto
Planning, Communication and Active Methodologies: Online Assessment of the Software Engineering Subject during...

7. Continuous assessment exercises

In addition to the participation in the classroom, as part of the continuous

assessment attendance and completion of workshops, two exercises are collected
(without notice of the specific day) throughout the course, so that during a classroom
session a modelling problem in UML is delivered, similar to those previously worked.
Each student must resolve it individually before the end of the session.
The peculiarity of this type of modelling exercises is that it is improbable that
two students will come up with the same solution using the same words to name the
different concepts. For this reason, the adaptation to the online format has mainly
consisted of eliminating the “surprise” factor.
Each exercise collected has had a date and time of completion. At the time
indicated, the statement and a task to deliver the solution were automatically visible
on the virtual campus. Each student had to develop their solution individually and
deliver it within 1 hour. During this period, the teaching team was connected in
a Google Meet session to solve doubts or possible technical problems during the
delivery.
Each exercise collected was corrected by a single teacher, so that he or she could
detect a copy. Unlike the face-to-face mode, the correction of each exercise was made
available to the students to avoid a large number of individual tutoring sessions and
as part of the learning process.

8. Talks of professionals

Beyond the methodological change, the course stands out for its incorporation
of the gender perspective as a way of making the lack of women in the technology
sector visible and promoting diversity in software development (García-Holgado et
al., 2020). In addition to the gender and diversity approach applied to all elements
of the subject mentioned above, since the 2018-2019 academic year, a series of talks
given by professionals lasting 20-30 minutes is being held on software engineering
topics in real environments. In addition, to bringing reality closer to students, the
people chosen to give the talks have very different profiles, allowing them to show
the diversity in the technological field.
In the 2019-2020 academic year, three talks have been organised; all of them
focused on teleworking in technology companies. Two talks were held in a face-to-
face format, focusing on teleworking in international companies and another on
using tools to organise teamwork. The third talk was conducted in an online format
through Blackboard Collaborate and focused on teleworking during confinement.

50 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 41-66.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 F. J. García-Peñalvo; A. García-Holgado; A. Vázquez-Ingelmo; J. C. Sánchez-Prieto
Planning, Communication and Active Methodologies: Online Assessment of the Software Engineering Subject during...

9. Midterm tests

Finally, two midterm tests focused on the theory of the subject are applied
throughout the course, so that those who have an average of more than 4 in these
tests do not have to take this part in the final exam. These two tests are composed of
simple selection questions with four options.
The midterm tests have been kept in the online mode, although an e-proctoring
system has not been used (González-González et al., 2020). However, a dynamic
similar to the continuous assessment exercises has been followed. The tests were
implemented with the virtual campus questionnaire tool. The questionnaire
was available automatically at a specific day and time, and students had a single
opportunity to take it, with the possibility of moving forward and backwards. The
time available for these tests was 20 minutes for 14 questions.
As for the measures to avoid copying, a battery of questions classified by concepts
has been elaborated, so that each questionnaire has been generated randomly,
avoiding that the students receive the same test. However, the global complexity
of each test is similar. The questions are reflective, so it is not possible to find them
literally in the notes and materials available.

Evaluation

According to García-Peñalvo et al. (2020), online assessment requires

redesigning the subject evaluation system, i.e., the best approach is not to try to
replicate traditional tests in the online ecosystem.
In the context of Software Engineering I, the evaluation of the subject gives
high weight to the final work or project (35%) and continuous assessment (25%).
Evaluation in the form of an exam accounts for 40% of the final grade. The adaptation
to the online format during the confinement period has made it possible to maintain
all the evaluation percentages and tests.
The main change has been made in the final exam, which corresponds to 40%
of the grade, and 50% of which can be passed through the midterm tests previously
described. In particular, this exam consists of a test, a practical-theoretical question,
and a UML modelling exercise. In the non-attendance evaluation, the test was kept
in the same conditions as the midterm tests. The modelling exercise was carried
out following the same guidelines as continuous assessment exercises. However,
an oral test through Blackboard Collaborate was incorporated. It consists of two
questions, one about the solution posed in the modelling exercise to detect copies
and plagiarism; and a general question about the main concepts worked on in the
subject. This oral test was the only one recorded on video as evidence of possible
complaints in detecting copy or plagiarism of an exercise or discrepancies in the
grade received.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 41-66.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 51
 F. J. García-Peñalvo; A. García-Holgado; A. Vázquez-Ingelmo; J. C. Sánchez-Prieto
Planning, Communication and Active Methodologies: Online Assessment of the Software Engineering Subject during...

METHODOLOGY

Instrument

The Quality Evaluation Unit of the University of Salamanca collects student

satisfaction in each of their subjects every two academic years. These surveys follow
a standard model for all subjects, so they do not measure specific elements or
methodological changes in particular. Likewise, in the academic year 2019-2020,
the Degree in Computer Engineering has not been evaluated.
To have feedback from the students regarding the change of methodological
approach implemented in the subject since the 2016-2017 academic year, the
teaching team applies annually a questionnaire focused on obtaining the students’
satisfaction with the particular actions carried out in the subject. This instrument
is an adaptation of the satisfaction questionnaire published as an appendix in
González-Rogado’s doctoral thesis (González Rogado, 2012; González-Rogado et al.,
2014). Each academic year, those items reflecting the novelties in the subject are
incorporated.
The questionnaire is divided into four sections:

• Sociodemographic items (gender, highest course enrolled, the order of career

choice, grade point average in the file, number of times enrolled in the subject,
previous studies).
• General satisfaction on the degree.
• Satisfaction on the subject.
• Hours of work invested in the subject.
• Open answer questions to collect the positive aspects, the negative aspects, and
suggestions for improvement.

The general satisfaction on the Computer Engineering degree is measured with

ten Likert items (1=not satisfied, 5=total satisfied), among which the “Adaptation of
the career during the crisis of COVID-19” has been included.
The satisfaction on the subject is measured with items organized in different
dimensions (first column in Table 1). Each dimension has a set of items from
different types. These items were adapted to take into account the online modality. In
particular, those satisfaction items that referred to the face-to-face classes have been
split into two items, one on the part that was developed face-to-face and another on
the online part. Table 1 summarize only those items that were included for measure
the satisfaction on the online modality of the subject.

52 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 41-66.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 F. J. García-Peñalvo; A. García-Holgado; A. Vázquez-Ingelmo; J. C. Sánchez-Prieto
Planning, Communication and Active Methodologies: Online Assessment of the Software Engineering Subject during...

Table 1
Dimensions and items modified or added to account for the online modality

Dimension Original Added/Modified

G1: Overall Degree rating G1.10: Degree adaptation
(5-point Likert) during the COVID-19 crisis
A1.5: Face-to-face lectures
A1: Personal work A1.6: Online lectures help to
help to understand the
methodology (5-point Likert) understand the contents
contents
A2.2: I have read all the A2.3: I have seen every video
A2: Depth degree in the study material resource
(Multiple choice) A2.4: I have reviewed the A2.5: I have reviewed the
solved exercises solved exercises videos
A3: Perception of the
experimental methodology
(5-point Likert)
A4.4: I was satisfied with the
A4: General satisfaction
adaptation of the course to
(5-point Likert)
online mode
A5.2: Virtual Campus
A5.3: Virtual Campus during
during the attendance
the online period
period
A5: Usefulness for the A5.5: Face-to-face tutoring A5.7: Online group tutoring
subjects’ study (5-point A5.9: Class diagram resolution
Likert) video clips
A5.10: Sequence diagrams
video clips
A5.11: Final project video clips
A6.2 ADAPTED: Learning
through public presentations
A6.2: Learning through
(carrying out the class
A6: Subject rating (5-point public presentations
diagram exercises in the
Likert) forum)
A6.3: Learning through A6.4: Learning through online
face-to-face workshops workshops

Data collection

Throughout the course, 25 evaluation items related to the evaluation criteria are
collected. These items are used to the continuous assessment, the participation of
the students, the project-based learning results and the objective tests. Concerning
satisfaction, the instrument was applied once the activities of the course had been

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 41-66.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 53
 F. J. García-Peñalvo; A. García-Holgado; A. Vázquez-Ingelmo; J. C. Sánchez-Prieto
Planning, Communication and Active Methodologies: Online Assessment of the Software Engineering Subject during...

completed, from 2 to June 24, 2020, the day on which the grades of the first call were
communicated.
No control group was applied due to two reasons. First, the successful learning
results using the course design based on active methodologies was validated in
previous works against the learning results obtained before changing the methodology
with the same teaching team (Vázquez-Ingelmo et al., 2019). Second, the aim of this
work is to illustrate how a validated approach based on active methodologies enables
a successful transformation to an online or blended approach maintaining positive
learning results.

Sample

In the Computer Engineering Degree, students are organised into two groups, A
and B. The population of the study is made up of group A. There are 70 students, 9 are
women (12.86%) and 61 men (87.14%). There are also 57 first-enrolment students
(81.43%), 11 second-enrolment students (15.71%), one third-enrolment student
(1.43%), and one fifth-enrolment student that never participated in the assessment
processes (1.43%).
Regarding the collected sample, 30 students answered the satisfaction
questionnaire anonymously, 6 women (20%), 23 men (76.7%), and 1 chose not
to say (3.3%). Regarding the number of times that they had taken the subject, 29
responses were for the first time (96.7%). Finally, regarding the average number of
grades obtained since the beginning of the degree studies, 20 had grades between
5-6 (66.7%), 9 between 7-8 (30%), and 1 between 9-10 (3.3%).

RESULTS

Grades

Table 2 shows a summary of the average grades obtained in the main evaluation
items collected throughout the course. In particular, it shows the values obtained in
the last four academic years in which an active approach has been applied (Vázquez-
Ingelmo et al., 2019). These grades provide a quantitative overview of the learning
results in previous academic years in order to compare with the results applying the
transformation into an online assessment.

54 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 41-66.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 F. J. García-Peñalvo; A. García-Holgado; A. Vázquez-Ingelmo; J. C. Sánchez-Prieto
Planning, Communication and Active Methodologies: Online Assessment of the Software Engineering Subject during...

Table 2
Grades of the main evaluation items in the last four courses

2016-2017 2019-2020
Item 2017-2018 (N=57) 2018-2019 (N=59)
(N=72) (N=70)
N Avg N Avg N Avg N Avg
C6a 55 5.1454 44 3.5284 46 2.9782 59 5.8898
C7b 62 2.9758 45 6.677 47 2.6914 61 6.8049
C8c 63 4.6817 50 5.3558 49 3.2818 61 7.2877
E1d 67 4.6125 51 4.9925 55 5.3336 65 5.67
E2e 52 4.26 47 4.3123 51 4.2417 65 4.9561
P5f 62 8.3875 47 8.1708 57 7.91 55 9.15
F1g 68 5.8674 50 6.1954 47 4.3098 56 5.7615
F2h 30 5.4172 22 5.5138 22 4.4301 25 6.8572
Fi 69 6.0833 50 6.3463 55 5.6087 66 7.2690
a
Exercise 1 of continuous assessment, b Exercise 2 of continuous assessment, c Total
continuous assessment, d First midterm test of theory, e Second midterm test of theory, f
Final project, g Final grade first call, h Final grade second call, i Final grade

According to the data collected during the four academic years (Figure 2), an
improvement in the final project (P5) can be seen throughout the courses, as well
as the final grades obtained (F1, F2, F). On the other hand, the grades for the main
items of continuous assessment (C6, C7, C8) vary significantly from one academic
year to another.

Figure 2
Comparison of averages from the 2016-2017 academic year to the current academic
year

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 41-66.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 55
 F. J. García-Peñalvo; A. García-Holgado; A. Vázquez-Ingelmo; J. C. Sánchez-Prieto
Planning, Communication and Active Methodologies: Online Assessment of the Software Engineering Subject during...

Finally, we performed a mean difference test in order to find out if the differences
found in the grades were significant at a statistical level. Firstly, we checked the
normalcy of the distribution of the scores in the nine indicators by calculating the
Shapiro-Wilk test. The results indicated that four of the nine items (E1, E2, F1 and
F2) had normal distributions while the other five did not adjust to normalcy.
Consequently, we employed ANOVA to conduct the mean difference test for
items E1, E2, F1 and F2 and Kruskal-Wallis for the rest. The results of the test (Table
3) indicated significant differences (s.l. .05) in the 9 indicators.

Table 3
Hours of work invested in the subject

P
C6 <.001
C7 <.001
C8 <.001
E1 .003
E2 .004
P5 <.001
F1 <.001
F2 <.001
F <.001

Hours of work

As for numbers of hours of work invested in the subject, the students manifested
to have dedicated less ours of work than in previous years with an average of 79.2
hours. This reduction is especially significant in comparison with the courses 2016-
2017 and 2017-2018 although it is worth considering the difference in the sample
size.
It is also interesting to highlight that the standard deviation is also noticeably
smaller, which indicates a higher homogeneity between the students.

Table 4
Hours of work invested in the subject

Avg Std N
2016-2017 83.67 45.42 43
2017-2018 90 33.33 9
2018-2019 90.21 40.81 14
2019-2020 79.2 26.22 30

56 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 41-66.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 F. J. García-Peñalvo; A. García-Holgado; A. Vázquez-Ingelmo; J. C. Sánchez-Prieto
Planning, Communication and Active Methodologies: Online Assessment of the Software Engineering Subject during...

Students’ satisfaction

After conducting the data gathering process, we performed a descriptive analysis

of the answers provided by the students. As we can see in Table 5 the students
manifest a generally high degree of satisfaction with the subject with mean scores
above 4 in the majority of the items except items A5.1, A5.4 and A5.5. This contrast
with the low level of satisfaction both with the degree and the general adaptation of
the degree COVID-19 crisis. Following, we present a more detailed analysis of the
frequencies of the items grouped by dimension.

Table 5
Results of the descriptive analysis

Avg Std Med Valid

G1 3.467 0.973 4.000 30
G1.10 2.552 1.298 3.000 29
A4.1 4.433 0.568 4.000 30
A4.2 4.500 0.682 5.000 30
A4.3 4.667 0.547 5.000 30
A4.4 4.733 0.583 5.000 30
A5.1 3.567 1.040 3.500 30
A5.2 4.167 0.791 4.000 30
A5.3 4.567 0.568 5.000 30
A5.4 2.267 0.868 2.000 30
A5.5 3.733 1.143 3.500 30
A5.6 4.833 0.461 5.000 30
A5.7 4.600 0.621 5.000 30
A5.8 4.433 0.728 5.000 30
A5.9 4.833 0.379 5.000 30
A5.10 4.500 0.900 5.000 30
A5.11 4.633 0.615 5.000 30

Firstly, two items should be analysed about the general satisfaction in adapting
the subject during the confinement period. Regarding the general satisfaction on the
adaptation of the course during the COVID-19 crisis (G1.10), being N=29, 14 students
show little or no satisfaction (48.28%), nine are neither satisfied nor dissatisfied
(31.03%) and 6 are satisfied or delighted (20.69%). On the other hand, regarding
the adaptation to the online modality of the Software Engineering I subject (A4.4),
for N=30, two students are indifferent (6.67%). At the same time, 28 say they are
satisfied with the subject’s adaptation (93.33%).

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 41-66.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 57
 F. J. García-Peñalvo; A. García-Holgado; A. Vázquez-Ingelmo; J. C. Sánchez-Prieto
Planning, Communication and Active Methodologies: Online Assessment of the Software Engineering Subject during...

Figure 3 shows the different items related to the subject’s general satisfaction,
where a positive opinion about the learning within the subject can be seen.

Figure 3
Overall satisfaction with the subject (A4 dimension) (N=30)

Regarding the materials provided in both the face-to-face and the online
period (Figure 4), it should be noted that 96.67% of the students who answered the
instrument indicated that they had reviewed the exercises solved on video, i.e., the
video clips that were developed as material to replace the face-to-face sessions in
which exercises were solved on the blackboard. It is also important to emphasise that
not only have they used these videos, but they consider them very useful according to
the results shown in Figure 5 (A5.9 and A5.10).

58 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 41-66.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 F. J. García-Peñalvo; A. García-Holgado; A. Vázquez-Ingelmo; J. C. Sánchez-Prieto
Planning, Communication and Active Methodologies: Online Assessment of the Software Engineering Subject during...

Figure 4
Depth degree in the study of the contents (A2 dimension)

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 41-66.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 59
 F. J. García-Peñalvo; A. García-Holgado; A. Vázquez-Ingelmo; J. C. Sánchez-Prieto
Planning, Communication and Active Methodologies: Online Assessment of the Software Engineering Subject during...

Figure 5
Usefulness for the subjects’ study (A5 dimension)

Regarding the use of the virtual campus (Figure 5), integrated into the subject’s
teaching in the face-to-face mode, and as the main channel of coordination and
communication during the online period, the results show a proper evaluation by
the students (A5.2 and A5.3).
In general terms, most of the items on the usefulness for the study of the subject
are well evaluated, except using the hashtag of the subject, whose use by the teaching
team was reduced by the workload associated with the health crisis. It is also worth
noting some students’ opinion on the face-to-face tutoring, mainly carried out as part
of the face-to-face sessions where three people (10%) do not consider them useful.
Finally, some of the suggestions for improvement that can be applied in future
academic years should be highlighted:

60 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 41-66.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 F. J. García-Peñalvo; A. García-Holgado; A. Vázquez-Ingelmo; J. C. Sánchez-Prieto
Planning, Communication and Active Methodologies: Online Assessment of the Software Engineering Subject during...

“More short and concise videos to explain the theory part.”

“I wish more subjects like this could be brought into the online methodology. It
would be good to leave this year’s material to next year’s students to learn both by
going to class and by learning at home and consulting the teachers’ explanations
without the need for a tutorial.”
“Increase the weight of final work, increase class participation with exercise,
and less weight on the test.”
“The monitoring done through the online tutoring has been very useful to
me, because it forced you to work and keep up with the project. [...] That is why
I recommend that in the face-to-face work, greater emphasis be placed on having
those 10-15 minutes per group as a task during the final practice and not just as an
optional resource.”

DISCUSSION AND CONCLUSIONS

As shown in Table 2, there is a general increase in the grades obtained by the

students in all of the items which may be explained by a combination of different
factors.
Firstly, in the case of the exercises related with the continuous assessment (C6
and C7), this may be because the difficulty of the proposed exercises was lower than
the exercises in previous years to motivate the students. Although these results
influence the total score for continuous assessment (C8), the higher average obtained
in this item is also due to a considerable increase in student participation in the
asynchronous activities proposed.
Secondly, the grades obtained in the midterm tests (E1 and E2) are significantly
higher than in previous courses, although they remain in the range between 5 and
6 over 10. Although the midterm tests were not monitored or supervised, the use of
reflection questions has made it possible to reduce mass copying, which can explain
the low grades in these items.
As for the final project, the average grades are also higher than in previous courses.
The main difference with previous courses has been more considerable personalised
attention to each of the working groups, so that continuous improvement has been
carried out in almost all the projects.
These results are aligned with some studies have identified improvement in the
students’ learning performance during the COVID-19 confinement. In particular,
according to Gonzalez et al. (2020) students have changed their strategies to a more
continuous habit, improving their efficiency. Sanz et al. (2020) also identify more
commitment to personal homework during the confinement, but they highlight
that it should take into account the differences between teaching in this particular
situation and teaching in a most general scenario.
On the other hand, the perception of the students of the amount of time
dedicated to the subject is lower to previous years which combined with the increase

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 41-66.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 61
 F. J. García-Peñalvo; A. García-Holgado; A. Vázquez-Ingelmo; J. C. Sánchez-Prieto
Planning, Communication and Active Methodologies: Online Assessment of the Software Engineering Subject during...

in their performance indicates that the changes introduced to the subject may have
improved the effectiveness of the teaching methodology. The causes of this change
in the perception of the students of the time spent working on the subject constitute
an interesting topic of research for future studies.
According to Hernández-Ramos and Belmonte (2020), students consider
that, in a training system based on the development of competences, educational
practices based on an active approach are more appropriate and motivating than
the traditional ones. This statement is reflected in the students’ satisfaction results
in previous academic courses. Regarding the adaptation to online mode during the
confinement period, it has not reduced the satisfaction results obtained in previous
courses. Also, the items directly related to the online period show a high degree of
satisfaction on the students’ part. Although the answers collected do not represent
100% of the study population, they cover a broad spectrum of students according to
the ranges of grades obtained so far in the Degree in Computer Engineering.
The course’s adaptation to online format has not meant a redesign of the course
or a change in the methodology, as can be seen in the comparison between the face-
to-face and online approach. The primary key to this almost transparent process
has been the previous use of active methodologies, the weight of the continuous
assessment and the final project in the evaluation of the subject, and the integration
of the university’s technological ecosystem as part of the presential dynamics. The
assessment items were adapted to the online approach, but they were not replaced
or removed to simplify the assessment due to the pandemic situation. Based on this
experience, it is possible to underline that the use of active methodologies and the
combination of summative and formative assessment, enable the transformation
from a face-to-face assessment into an online assessment. This perception of the
teaching team is guaranteed by the learning results obtained and the students’
feedback about the adaptation of the course to an online format.
On the other hand, although the use of active learning foster the participation
and involvement of the students in the learning process, there were risks that cannot
be controlled such as the lack of interest of students or their particular situations
during the confinement period.
The study presents some limitations; firstly, it is worth noticing that the data
gathering process has been done through self-report which compromises the honesty
in the answer of the students. However, the consistency with the results from previous
years on which the information was gathered with the same instruments may help to
give some perspective and mitigate the effect of the social desirability bias.
Additionally, as has been stated, the size of the sample is small and, although it
is representative of the study population, the results cannot be generalised to other
contexts. The extension of the methodology to other populations and contexts may
also be of interest for future studies.
Finally, the experience has allowed improving the approach of the subject.
Among the actions undertaken for subsequent courses, the use of all the digital
material created should be highlighted.

62 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 41-66.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 F. J. García-Peñalvo; A. García-Holgado; A. Vázquez-Ingelmo; J. C. Sánchez-Prieto
Planning, Communication and Active Methodologies: Online Assessment of the Software Engineering Subject during...

ACKNOWLEDGEMENTS

To the students of Software Engineering I during the academic year 2019-2020,

for their understanding and dedication.
This work is part of the innovation in teaching project “The use of agile
methodologies in the classroom as a way to promote diversity in engineering
contexts. Case study for the Degree in Computer Engineering” (ID2019/011) funded
by the University of Salamanca.

REFERENCES

Abella García, V., Grande de Prado, M., Estruch, V., & Silva, J. (2006). Aprendizaje
García-Peñalvo, F. J., & Corell, A. (2020). basado en proyectos en la carrera de
Guía de recomendaciones para la Ingeniería Informática. Actas de las XII
evaluación online en las Universidades Jornadas de la Enseñanza Universitaria
Públicas de Castilla y León. Versión 1.1. de la Informática, JENUI 2006, Deusto,
[Link] Bilbao.
Alfaro, L., Rivera, C., & Luna-Urquizo, J. Fardoun, H., González-González, C. S.,
(2019). Using Project-based Learning Collazos, C. A., & Yousef, M. (2020).
in a Hybrid e-Learning System Model. Estudio exploratorio en Iberoamérica
International Journal of Advanced sobre procesos de enseñanza-aprendizaje
Computer Science and Applications y propuesta de evaluación en tiempos de
(IJACSA), 10(10). [Link] pandemia. Education in the Knowledge
org/10.14569/IJACSA.2019.0101059 Society, 21. [Link]
Beaunoyer, E., Dupéré, S., & Guitton, M. J. eks.23437
(2020). COVID-19 and digital inequalities: Fonseca, V. M. F., & Gómez, J. (2017).
Reciprocal impacts and mitigation Applying Active Methodologies for
strategies. Computers in Human Teaching Software Engineering in
Behavior, 111, Article 106424. [Link] Computer Engineering. IEEE Revista
org/10.1016/[Link].2020.106424 Iberoamericana de Tecnologias del
Daniel, S. J. (2020). Education and the Aprendizaje, 12(3), 147-155. [Link]
COVID-19 pandemic. PROSPECTS. org/10.1109/RITA.2017.2738178
[Link] García-Holgado, A., García-Peñalvo, F. J.,
09464-3 & Rodríguez-Conde, M. J. (2018). Pilot
Daun, M., Salmon, A., Weyer, T., Pohl, K., experience applying an active learning
y Tenbergen, B. (2016). Project-Based methodology in a Software Engineering
Learning with Examples from Industry in classroom. In 2018 IEEE Global
University Courses: An Experience Report Engineering Education Conference
from an Undergraduate Requirements (EDUCON), (17-20 April 2018, Santa
Engineering Course. 2016 IEEE 29th Cruz de Tenerife, Canary Islands,
International Conference on Software Spain) (pp. 940-947). IEEE. [Link]
Engineering Education and Training org/10.1109/EDUCON.2018.8363331
(CSEET). [Link] García-Holgado, A., García-Peñalvo, F. J.,
CSEET.2016.15 Rodríguez-Conde, M. J., & Vázquez-
Ingelmo, A. (2019). El campus virtual

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 41-66.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 63
 F. J. García-Peñalvo; A. García-Holgado; A. Vázquez-Ingelmo; J. C. Sánchez-Prieto
Planning, Communication and Active Methodologies: Online Assessment of the Software Engineering Subject during...

como soporte para implementar una 180-187. [Link]

metodología activa para mejorar la tasa TE.2004.824839
de éxito en la materia de Ingeniería del Gonzalez, T., de la Rubia, M. A., Hincz, K.
Software. In C. A. Collazos Ordóñez; C. P., Comas-Lopez, M., Subirats, L., Fort,
S. González González; A. Infante Moro; S., & Sacha, G. M. (2020). Influence of
J. C. Infante Moro (Eds.), Libro de Actas COVID-19 confinement on students’
IX Jornadas Internacionales de Campus performance in higher education. PLoS
Virtuales (11-13 de septiembre de 2019, ONE, 15(10), e0239490. [Link]
Popayán, Colombia) (pp. 10-14). United org/10.1371/[Link].0239490
Academic Journals. González-González, C. S., Infante-Moro,
García-Holgado, A., Vázquez-Ingelmo, A., & Infante-Moro, J. C. (2020).
A., García-Peñalvo, F. J., & González- Implementation of E-proctoring in Online
González, C. S. (2020). Perspectiva de Teaching: A Study About Motivational
género y fomento de la diversidad en la Factors. Sustainability, 12(8). https://
docencia de Ingeniería del Software. In [Link]/10.3390/su12083488
Actas de las Jornadas de la Enseñanza González-Rogado, A. B. (2012). Evaluación
Universitaria de la Informática (JENUI) del impacto de una metodología
(Vol. 5, pp. 269–276). AENUI, la docente, basada en el aprendizaje activo
Asociación de Enseñantes Universitarios del estudiante, en computación en
de la Informática. ingenierías. [Universidad de Salamanca].
García-Peñalvo, F. J. (2018). Ecosistemas Salamanca, España. [Link]
tecnológicos universitarios. In J. Gómez net/10366/121366
(Ed.), UNIVERSITIC 2017. Análisis de las González-Rogado, A. B., Rodríguez-Conde,
TIC en las Universidades Españolas (164- M. J., Olmos-Migueláñez, S., Borham, M.,
170). Crue Universidades Españolas. & García-Peñalvo, F. J. (2014). Key factors
García-Peñalvo, F. J., Alarcón, H., & for determining student satisfaction
Domínguez, Á. (2019). Active learning in engineering: A regression study.
experiences in Engineering Education. International Journal of Engineering
International Journal of Engineering Education (IJEE), 30(3), 576-584.
Education, 35(1(B)), 305-209. Gren, L. (2020). A Flipped Classroom
García-Peñalvo, F. J., & Corell, A. (2020). La Approach to Teaching Empirical Software
CoVId-19: ¿enzima de la transformación Engineering. IEEE Transactions on
digital de la docencia o reflejo de una Education, 63(3), 155-163. [Link]
crisis metodológica y competencial en la org/10.1109/TE.2019.2960264
educación superior? CampusVirtuales, Hernández-Ramos, J. P., & Belmonte, M.
9(2), 83-98. L. (2020). Assessment of the use of
García-Peñalvo, F. J., Corell, A., Abella- Kahoot! in face-to-face and virtual higher
García, V., & Grande, M. (2020). La education. Education in the Knowledge
evaluación online en la educación superior Society, 21, Article 23. [Link]
en tiempos de la COVID-19. Education in org/10.14201/eks.22910
the Knowledge Society, 21. [Link] Lacuesta, R., Palacios, G., & Fernández,
org/10.14201/eks.23086 L. (2009). Active learning through
García-Peñalvo, F. J., & Moreno, M. N. problem based learning methodology
(2004). Software Modeling Teaching in engineering education. 2009
in a First Software Engineering Course. 39th IEEE Frontiers in Education
A Workshop-Based Approach. IEEE Conference. [Link]
Transactions on Education, 42(2), FIE.2009.5350502

64 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 41-66.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 F. J. García-Peñalvo; A. García-Holgado; A. Vázquez-Ingelmo; J. C. Sánchez-Prieto
Planning, Communication and Active Methodologies: Online Assessment of the Software Engineering Subject during...

Llorens-Largo, F. (2020). Docencia de 9(3), 103-125. [Link]

emergencia: cómo cambiar el motor en riejs2020.9.3.006
pleno vuelo. Universídad. [Link] Sanz, G., Gil, A., Marnet, B., Berlanga, L.,
ly/3cpHVEV Tordesillas, M., Pérez Ruiz, S., & Gómez, S.
Macias, J. A. (2012). Enhancing Project- (2020). Students’ performance in French
Based Learning in Software Engineering subjects in the COVID-19 confinement. In
Lab Teaching Through an E-Portfolio F. J. García-Peñalvo (Ed.), Proceedings
Approach. IEEE Transactions on of the 8th International Conference
Education, 55(4), 502-507. [Link] on Technological Ecosystems for
org/10.1109/TE.2012.2191787 Enhancing Multiculturality (TEEM
Martínez, A., Hernández, C., Vivaracho, 2020) (Salamanca, Spain, October
C. E., Simón, A., Arranz, G., Martínez, 21-23, 2020). ACM. [Link]
M., & Prieto, Ó. (2006). Introducción de org/10.1145/3434780.3436690
Metodologías Activas en el Aprendizaje Van Lancker, W., & Parolin, Z. (2020).
de la Informática: Experiencia del COVID-19, school closures, and child
Grupo GREIDI. In Actas XII Jornadas poverty: a social crisis in the making. The
de Enseñanza Universitaria de la Lancet Public Health, 5(5), e243-e244.
Informática (JENUI) (pp. 347-354). [Link]
[Link] 2667(20)30084-0
procJenui/Jen2006/ Vázquez-Ingelmo, A., García-Holgado,
Moreno-Ruiz, L., Castellanos-Nieves, D., A., García-Peñalvo, F. J., & Rodríguez-
Braileanu, B. P., González-González, E. Conde, M. J. (2019). Resultados
J., Sánchez-De La Rosa, J. L., Groenwald, preliminares tras tres años aplicando
C. L. O., & González-González, C. S. aprendizaje basado en proyectos en
(2019). Combining Flipped Classroom, ingeniería del software. In M. L. Sein-
Project-Based Learning,and Formative Echaluce Lacleta, Á. Fidalgo Blanco, &
Assessment Strategies in Engineering F. J. García-Peñalvo (Eds.), Aprendizaje,
Studies. International Journal of Innovación y Cooperación como
Engineering Education, 35(6(A)), 1673- impulsores del cambio metodológico.
1683. Actas del V Congreso Internacional
Real Decreto 463/2020, de 14 de marzo, sobre Aprendizaje, Innovación y
por el que se declara el estado de alarma Competitividad. CINAIC 2019 (9-11 de
para la gestión de la situación de crisis Octubre de 2019, Zaragoza, España)
sanitaria ocasionada por el COVID-19, (pp. 692-697). Servicio de Publicaciones
(2020). [Link] Universidad de Zaragoza. [Link]
Rodicio-García, M. L., Ríos-de-Deus, M. org/10.26754/CINAIC.2019.0141
P., Mosquera-González, M. J., & Penado Zubillaga, A., & Gortazar, L. (2020).
Abilleira, M. (2020). La Brecha Digital COVID-19 y educación: Problemas,
en Estudiantes Españoles ante la Crisis respuestas y escenarios. [Link]
de la Covid-19. Revista Internacional ly/3auXnP8
De Educación Para La Justicia Social

ACADEMIC AND PROFESSIONAL PROFILE OF THE AUTHORS

Francisco José García-Peñalvo. He received the degrees in computing from

the University of Salamanca and the University of Valladolid, and a Ph.D. from
the University of Salamanca (USAL). He is Full Professor of the Computer Science

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 41-66.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 65
 F. J. García-Peñalvo; A. García-Holgado; A. Vázquez-Ingelmo; J. C. Sánchez-Prieto
Planning, Communication and Active Methodologies: Online Assessment of the Software Engineering Subject during...

Department at USAL. Since 2006 he is the head of the GRIAL Research Group. He
is head of the Consolidated Research Unit of the Junta de Castilla y León (UIC 81).
He is currently the Rector’s Delegate for Virtual Teaching and the Coordinator of
the Doctorate Programme in Education in the Knowledge Society at USAL. https://
[Link]/0000-0001-9987-5584
E-mail: fgarcia@[Link]

Alicia García-Holgado. She received the degree in Computer Science (2011), a

master’s degree in Intelligent Systems (2013) and a Ph.D. (2018) from the University
of Salamanca, Spain. She is a member of the GRIAL Research Group of the University
of Salamanca since 2009. Her main research lines are related to the development
of technological ecosystems for knowledge and learning processes management in
heterogeneous contexts, and the gender gap in the technological field. [Link]
org/0000-0001-9663-1103
E-mail: aliciagh@[Link]

Andrea Vázquez-Ingelmo. She received the bachelor’s degree in Computer

Engineering from the University of Salamanca in 2016 and the master’s degree
in Computer Engineering from the same university in 2018. She is a member of
the GRIAL Research Group, where she is pursuing her Ph.D. degree in Computer
Sciences. Her area of research is related to human-computer interaction, software
engineering, information visualization and machine learning applications. https://
[Link]/0000-0002-7284-5593
E-mail: andreavazquez@[Link]

José Carlos Sánchez-Prieto. He holds a Ph.D. in Education (Education in the

Knowledge Society Programme, University of Salamanca, 2018). He holds a Degree
in Pedagogy (2011) and a master’s degree in ICT Applied to Education (2012), both
from the University of Salamanca. He is member of the GRIAL Research Group, and
his research lines are focused on teacher acceptance of technologies and the use of
mobile devices in education. [Link]
E-mail: [Link]@[Link]

ADDRESS
GRIAL Research Group, IUCE
University of Salamanca
Paseo de Canalejas, 169
37008 Salamanca (Spain)

Date of receipt: 15/09/2020

Date of acceptance: 27/11/2020
Date of layout: 12/01/2021

66 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 41-66.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
I.S.S.N.: 1138-2783

Evaluación Remota de Aprendizajes en

la Universidad: decisiones docentes para
encarar un nuevo desafío
(Remote Learning Assessments in Higher Education:
Teaching Decision Making when Facing a New
Challenge)

Gisela Schwartzman
Carolina Roni
Michelle Berk
Erica Delorenzi
Mariana Sánchez
María Laura Eder
Instituto Universitario Hospital Italiano de Buenos Aires, IUHIBA (Argentina)

DOI: [Link]

Cómo referenciar este artículo:

Schwartzman, G., Roni, C., Berk, M., Delorenzi, E., Sánchez, M., y Eder, M. L.
(2021). Evaluación Remota de Aprendizajes en la Universidad: decisiones docentes
para encarar un nuevo desafío. RIED. Revista Iberoamericana de Educación a
Distancia, 24(2), pp. 67-85. [Link]

Resumen

La pandemia por COVID-19 y la suspensión de actividades presenciales enfrentó a las

universidades con el desafío de remotizar sus funciones. Este trabajo se propone caracterizar
propuestas de evaluación de aprendizajes diseñadas, al inicio del confinamiento, por docentes
de grado y posgrado de ciencias de la salud en el contexto de una propuesta de Formación para
la Virtualización de la Enseñanza (FVE) de un Instituto Universitario. Este estudio descriptivo-
interpretativo analiza, desde un enfoque cualitativo, 51 planificaciones docentes de evaluación
remota elaboradas en el contexto de la formación ofrecida. Las mismas se organizaron en
una matriz documental para su categorización e identificación de rasgos prevalentes en estos
diseños didácticos con el fin de construir hipótesis interpretativas.
Se evidencian propuestas diversas que mayormente evalúan los aprendizajes con
intención de acreditar saberes. Prevalecen diseños de evaluación individual con un uso activo
del conocimiento ligado a prácticas académicas y profesionales. Un gran porcentaje prevé su
desarrollo en forma asincrónica, mediados por la escritura y con el uso de un amplio repertorio

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 67-85.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 67
 G. Schwartzman; C. Roni; M. Berk; E. Delorenzi; M. Sánchez; M. L. Eder
Evaluación Remota de Aprendizajes en la Universidad: decisiones docentes para encarar un nuevo desafío

de herramientas digitales. Estas propuestas jerarquizan el andamiaje docente a estudiantes

durante el proceso de evaluación. Finalmente, se sistematizan los campos emergentes que
estructuraron el diseño de las propuestas de evaluación remota de los aprendizajes. Se genera
así un insumo para pensar las prácticas evaluativas en el contexto de remotización de la
enseñanza. Esperamos que esta contribución trascienda el escenario actual para identificar
potencialidades ante la construcción de propuestas híbridas en la post pandemia y en otras
disciplinas universitarias.

Palabras clave: formación de profesores; práctica pedagógica; evaluación remota;

universidad; tecnología de la educación; COVID-19.

Abstract

The COVID-19 pandemic and subsequent suspension of on-site academic activity faced
universities with the challenge of performing their duties remotely. The study’s aim is to
characterize learning assessment proposals designed, at the beginning of the lockdown, by
graduate and postgraduate health sciences teachers. These proposals were developed in the
context of a University Institute teacher-training program on virtualizing education. By using
a qualitative approach, this descriptive-interpretative study characterizes 51 remote learning
assessment proposals made by teachers taking the course. In order to construct interpretative
hypotheses, a matrix for their categorization was created to identify the prevalence of
pedagogical traits in the designs.
An array of different proposals were evidenced, most of which were to assess learning
with the intention of certifying knowledge. Individual learning assessments prevailed, mostly
favoring an active use of knowledge associated with academic and professional practices. A
high percentage of teachers planned asynchronous activities by means of writing and the
use of a broad array of digital tools. They also prioritized teacher interventions during the
assessment process as a scaffolding for the students. Finally, there was a systematization
of the emerging characteristics that structured the designs of remote learning assessment
proposals. This provides an input toward reflecting on assessment practices in the context of
remote teaching. We hope this contribution transcends the current scenario and helps identify
potentials for the development of hybrid assessment practices in post pandemic times.

Keywords: teacher training education; teaching practice; remote assessments; university;

educational technology; COVID-19.

La pandemia por COVID-19 y la suspensión de clases presenciales como medida

de cuidado, enfrentó a las universidades al desafío de remotizar1 las carreras
presenciales. Muchos docentes no contaban con formación en enseñanza virtual, se
mostraban resistentes a incluir tecnologías o las incorporaban reforzando prácticas
educativas basadas en la transmisión de información. La evaluación instruccional
los interpelaba especialmente. ¿Cómo acompañar su tarea en este insólito contexto?
¿Qué previeron al momento de plantear la evaluación remota de los aprendizajes?

68 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 67-85.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 G. Schwartzman; C. Roni; M. Berk; E. Delorenzi; M. Sánchez; M. L. Eder
Evaluación Remota de Aprendizajes en la Universidad: decisiones docentes para encarar un nuevo desafío

El presente trabajo se desarrolla en un instituto universitario en ciencias de la

salud que, a menos de dos semanas de iniciado el confinamiento, desarrolló una
estrategia para sostener la continuidad académica incluyendo un plan de Formación
Docente para la Virtualización (FVE) para el profesorado de grado, posgrado y
sistemas de residencias hospitalarias. Si bien la FVE tuvo continuidad durante todo
2020, en este artículo analizamos datos que se produjeron en su inicio.
La FVE se diferencia de propuestas que capacitan en el uso descontextualizado
de herramientas tecnológicas o en la construcción de materiales didácticos digitales
exclusivamente (Rapanta et al., 2020). En ella se privilegió el acompañamiento al
profesorado para el desarrollo integral de propuestas de educación remota en sus
espacios docentes y se propuso dar respuesta a procesos tecnopedagógicos claves2,
como la evaluación instruccional. Se abordó con un dispositivo de formación que
alternó actividades sincrónicas y asincrónicas para el diseño de acciones pedagógicas
situadas con una tutoría personalizada (Schwartzman, 2020).
El objeto de este trabajo es caracterizar las propuestas de estos profesores
universitarios de ciencias de la salud para la evaluación remota de los aprendizajes,
planificadas en el taller de formación durante las primeras semanas de confinamiento
por pandemia. Se enfoca la toma de decisiones para evaluar aprendizajes en entornos
virtuales en forma remota o híbrida, explorando aspectos como: selección de recursos
digitales, instrumentos para evaluar, resultados de aprendizaje a jerarquizar,
intervenciones docentes, entre otras.

MARCO TEÓRICO

Entendemos que la evaluación es parte de un proceso didáctico (Camilloni et al.,

1998), inescindible de la enseñanza y el aprendizaje y, por tanto, implica que, por
un lado, los estudiantes tomen conciencia de sus aprendizajes y que los docentes
interpreten lo que suponen esos aprendizajes construidos, para la enseñanza. Ese
proceso didáctico se inicia antes de la clase, en las decisiones, previsiones y supuestos
que se ponen en juego para pensar qué y cómo enseñar, y que incluye a la evaluación.
Conlleva, por parte del docente, ejercer una mediación entre los estudiantes y
determinados saberes. Lo que supone un proceso hacia otros y con otros e involucra
un encuentro interpersonal y desde las condiciones reales de partida de los alumnos
(Contreras Domingo, 1990).
En este proceso, la evaluación se distingue por el carácter provisorio y
complementario de la acción educativa: la respuesta del estudiante es siempre punto
de partida para nuevos aprendizajes. De este modo el aprendizaje sólo puede ser
acompañado en el sentido longitudinal pues implica construcción y reconstrucción
de conocimientos (Hoffmann, 2010). En esta línea, consideramos esencial promover
la comprensión y el uso estratégico de lo aprendido para la resolución de problemas
y situaciones novedosas por sobre la repetición de ejercicios conocidos (Pozo y Pérez
Echeverría, 2009). Del lado de la comprensión podemos encontrar una evaluación

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 67-85.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 69
 G. Schwartzman; C. Roni; M. Berk; E. Delorenzi; M. Sánchez; M. L. Eder
Evaluación Remota de Aprendizajes en la Universidad: decisiones docentes para encarar un nuevo desafío

que reconoce matices y gradualidad en los resultados de aprendizaje; mientras que de

la mano de la repetición la evaluación espera respuestas que resultan reproducción
de información.
Desde una perspectiva que reconoce la relación multidimensional entre
evaluación y aprendizaje pueden identificarse 4 dimensiones (Barberà, 2006) que
presentan su complejidad y riqueza y resultan valiosas para abordar los procesos
de evaluación tanto presenciales como en línea: evaluación del aprendizaje que
acredita ante la sociedad la adquisición de competencias por los estudiantes;
evaluación para el aprendizaje basada en la retroalimentación a través del diálogo
entre estudiantes y docentes que permite avanzar en el conocimiento; evaluación
como aprendizaje que contempla el aprendizaje como parte de la misma dinámica
evaluativa; y, evaluación desde el aprendizaje donde se diagnostican conocimientos
previos para anclar lo que se enseña.
Para comprender las particularidades de la evaluación remota de los aprendizajes
recogemos aportes sobre evaluación en línea para repensarlos en este contexto de
emergencia, así como aquellos relativos a la educación en el campo de la salud.
En cuanto a la evaluación en entornos virtuales, identificamos un foco en los
instrumentos como los e-portfolio o cuestionarios (Bryan y Clegg, 2019) y en la
reutilización de bancos de recursos para hacer más eficiente su administración
(Alruwais et al., 2018). Estos abordajes parciales no abordan en profundidad la
multidimensionalidad señalada, dejando fuera aspectos críticos como la valoración
de los resultados y la toma de decisiones o la comunicación con los estudiantes, por
ejemplo. Sin embargo, otros trabajos como el de Quesada Castillo (2006) y Castro
(2010) realizan un esfuerzo por conjugar varios componentes de la enseñanza y
evaluación en línea, considerando entre éstos los principios, las funciones, los tipos
de evaluación, las interacciones y los medios utilizados. Concluyen en la necesidad
de usar dicho ordenamiento para orientar el diseño de cursos “en línea”.
Concibiendo a la evaluación como parte sustancial de los procesos didácticos,
su desarrollo en línea requiere también mirar las prácticas de enseñanza en esa
modalidad, considerar los nuevos modos de circulación y construcción social de
conocimientos, reconocer las tecnologías digitales disponibles y cómo abonan a la
construcción de conocimientos y potencian la modificación de prácticas que requieren
ser repensadas. Elena Barberà en 2006 caracterizó lo que supone la inclusión de
tecnologías para modificar sustancialmente las prácticas habituales de evaluación
instruccional identificando tres aportes: la evaluación automática, enciclopédica y
colaborativa. Desde entonces, el desarrollo exponencial de las tecnologías digitales
y los nuevos desarrollos teóricos sobre la enseñanza en línea basados en conceptos
como el de inclusión genuina de tecnologías (Maggio, 2012) han consolidado nuevas
prácticas (Milillo et al., 2019). Propuestas tales como educación transmedia (Odetti
et al., 2020), entornos inmersivos (Rose, 2012), la posibilidad de documentar
procesos en forma automática (Maggio, 2012), la captura de datos de interacciones
en entornos digitales durante las actividades (Di Cerbo, 2020), la construcción de

70 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 67-85.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 G. Schwartzman; C. Roni; M. Berk; E. Delorenzi; M. Sánchez; M. L. Eder
Evaluación Remota de Aprendizajes en la Universidad: decisiones docentes para encarar un nuevo desafío

objetos con múltiples voces y autorías, la interacción en espacios públicos de la red

(wikipedia, redes sociales, etc.), se afilian a estos últimos desarrollos.
Sin embargo, no podemos dejar de señalar que la evaluación en la universidad
sigue siendo uno de los procesos más conservadores y esto se profundiza en la
modalidad en línea (Dorrego, 2016). Por lo tanto, es esperable que las publicaciones
acerca de esta temática estén aún lejos de alternativas innovadoras como las
mencionadas. Esto podría deberse, en gran medida, a la fuerte asociación de la
evaluación con su función acreditadora y, específicamente en la virtualidad, al temor
que suelen manifestar autoridades y docentes asociado a la pérdida de control sobre
la identidad de estudiantes y la fiabilidad de aquello que se busca medir (García-
Peñalvo, 2020; Harper et al., 2020; D’Souza y Siegfeldt, 2017). Sin desconocer la
relevancia de estas cuestiones, entendemos que las prácticas de evaluación educativa,
así como las investigaciones sobre las mismas, deben reconocer que éstas son sólo
una parte de la problemática y que es posible pensarlas más ampliamente mediante
nociones como las evaluaciones auténticas y el reconocimiento del vínculo intrínseco
entre enseñanza y evaluación.
En este artículo enfocamos la particularidad de la remotización. Los tiempos
de confinamiento han generado nuevas prácticas educativas para responder a la
emergencia y los docentes rápidamente debieron construir modos de enseñar y
de evaluar de forma remota para asegurar la continuidad académica. En contraste
con las experiencias de educación en línea que se planifican para desarrollarse
en dicha modalidad, el contexto ha forzado el desarrollo de la Educación Remota
de Emergencia (Hodges et al., 2020). Ésta implica la búsqueda inmediata de
alternativas para resolver la imposibilidad de acceso presencial a las instituciones. El
objetivo primordial no es crear una modalidad con rasgos sólidos sino proporcionar
un acceso temporal a la instrucción y rápidamente brindar apoyos pedagógicos que
estén disponibles de manera fiable durante la crisis. Son propuestas de educación
totalmente en línea para formaciones que, de otro modo, se impartirían cara a cara
(o de forma híbrida). Entonces, la enseñanza remota parte del supuesto de que
se volverá a la presencialidad una vez que la emergencia haya disminuido. Esta
situación impuso que la totalidad de los docentes se sumergieran en la inclusión de
tecnologías digitales y que debieran asomarse al territorio en línea para afrontar sus
tareas. Esto ha generado un fuerte movimiento en las prácticas universitarias que
podría ser oportunidad para promover cambios pedagógicos profundos.
Al relevar publicaciones surgidas a partir de la pandemia por Covid-19
encontramos una primera etapa con manuales o guías (Abella García et al., 2020;
Rivera Mata, 2020; University of Twente, 2020) y trabajos que se centran en reconocer
barreras para el diseño de evaluación remota tales como: la búsqueda de reproducir
en línea lo que se había definido para la presencialidad, la expectativa de retorno
a la actividad presencial, las brechas de acceso y conectividad, las dudas sobre la
seguridad y autoría de quien se examina, (García-Peñalvo, 2020), el fraude (Harper
et al., 2020) y cómo evitarlo mediante el uso de sistemas de supervisión electrónica

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 67-85.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 71
 G. Schwartzman; C. Roni; M. Berk; E. Delorenzi; M. Sánchez; M. L. Eder
Evaluación Remota de Aprendizajes en la Universidad: decisiones docentes para encarar un nuevo desafío

(González-González et al., 2020). En relación con esto último, como mencionamos

se trata de preocupaciones habituales de la evaluación en línea que se actualizan en
artículos vinculados a la evaluación remota. Por otra parte, algunos estudios avanzan
en recomendaciones didácticas que implican la evaluación por competencias en
forma remota (García-Peñalvo, 2020) o la mirada sobre los procesos de aprendizaje
más que sus resultados (Condori Gutiérrez, 2020; Fardoun et al., 2020).
Habiendo conceptualizado la evaluación en línea y remota, enfocamos
consideraciones respecto de la evaluación en disciplinas de las ciencias de la
salud. Interesa mencionar un estudio donde se relevaron las preocupaciones
sobre evaluación de profesores de este campo durante su formación en docencia
universitaria (Schwartzman et al., 2019). En líneas generales, sus preocupaciones
giran en torno a la objetividad, una asociación inicial fuerte con la calificación
y al interés en los exámenes de selección múltiple o “el oral” como principales
instrumentos para reconocer el dominio de conocimientos declarativos. Al transitar
una formación pedagógica estas preocupaciones iniciales se transforman en
reflexión sobre instrumentos de evaluación adecuados para reconocer aprendizajes
y acreditarlos, elaboración de programas de evaluación con instrumentos diversos
y decisiones consistentes con la planificación didáctica, revisión de las funciones
de la evaluación y su sentido junto con la preocupación por generar situaciones de
devolución constructiva de los exámenes como instancias de aprendizaje para los
estudiantes, con foco en la especificidad disciplinar al reflexionar sobre el feedback
como proceso asociado a la evaluación del desempeño de los profesionales de la
salud en contextos clínico-asistenciales.
En otras publicaciones del campo de la educación médica se realizan algunas
predicciones sobre los desafíos de la evaluación remota, tales como baja motivación de
alumnos (ParkJiao y Lissitz, 2020) y necesidad de potenciar y recuperar información
a partir de interacciones de los estudiantes con entornos digitales (Di Cerbo, 2020).
También presentan prescripciones por ejemplo para realizar exámenes a libro
abierto con el fin de garantizar la validez, confiabilidad y equidad (Er et al., 2020).
En suma, enfrentamos el desafío de evitar en la universidad una evaluación
remota conservadora que privilegia la calificación y control de identidad de los
estudiantes. El aporte de la presente investigación será sistematizar las propuestas
de evaluación remota de profesores de ciencias de la salud que persiguieron una
inclusión genuina de tecnologías coherente con los enfoques de enseñanza en los
que abrevan. Esperamos que las contribuciones de esta publicación trasciendan este
contexto puntual y disciplinar para potenciar la construcción de propuestas híbridas
en la post pandemia.

METODOLOGÍA

En este trabajo se caracterizan propuestas de remotización de actividades de

evaluación diseñadas por profesores de ciencias de la salud de grado y posgrado, en

72 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 67-85.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 G. Schwartzman; C. Roni; M. Berk; E. Delorenzi; M. Sánchez; M. L. Eder
Evaluación Remota de Aprendizajes en la Universidad: decisiones docentes para encarar un nuevo desafío

el contexto de una formación docente para la virtualización de emergencia. Si bien

se solicitó la planificación de actividades de evaluación que fueran a concretarse,
en este artículo se analiza el diseño instruccional de estas actividades y no su
implementación. Estas planificaciones no fueron construidas desde el sentido común
sino sustentadas, en alguna medida, por el conocimiento didáctico que implicó la
formación docente.
Se planteó un estudio descriptivo-interpretativo, desde un enfoque cualitativo,
de 51 diseños de propuestas de evaluación de los aprendizajes que los docentes
publicaron en una base de datos de Moodle durante un taller de una semana de
duración. Los campos de esta base de datos que organizaron sus diseños fueron:
propósito de la evaluación, naturaleza del conocimiento a evaluar, instrumento/s
de evaluación, intervenciones previstas del docente, y criterios de valoración de lo
realizado por los estudiantes. Para analizar las producciones se construyó una matriz
documental.
Se desarrolló un análisis categorizador con el propósito de identificar los rasgos
centrales de las planificaciones tomando en conjunto las respuestas de los docentes al
interior de cada uno de los campos. Así se categorizaron las respuestas agrupándolas
por similitud. Este análisis nos permitió identificar la prevalencia de algunos rasgos
de las actividades evaluativas planificadas. En segundo lugar, y con el objetivo de
interpretar con mayor profundidad las características de las actividades propuestas,
pusimos en relación los resultados encontrados en los campos, lo que nos permitió
construir hipótesis interpretativas que compartimos en el siguiente apartado de
análisis.

RESULTADOS

Dado que esta investigación y la acción de formación que es su punto de partida

se desarrollaron en el contexto de pandemia por COVID-19, consideramos necesario
puntualizar algunas cuestiones que dan sentido a los resultados de la misma.
Como se mencionó, el taller de formación sobre evaluación remota se realizó al
inicio del confinamiento y con la hipótesis (luego descartada) de un pronto retorno
a la presencialidad. En este sentido, la FVE proponía construir criterios para la
selección de contenidos a virtualizar y diferenciar aquellos que se posponían para el
regreso a las aulas. En muchos casos, los conocimientos que implicaban la inmersión
en prácticas reales fueron inmediatamente postergados para esa instancia. Además,
todo lo producido tenía la impronta de resolver los problemas de la continuidad
académica en forma urgente e inmediata.
Del análisis emergen dos tipos de resultados. En primer lugar, del procesamiento
de los datos matrizados surgen cuatro dimensiones que permiten describir las
evaluaciones remotas que planificaron los docentes participantes del taller de
formación: 1- propósitos identificados para las evaluaciones, 2- decisiones sobre
los instrumentos, 3- resultados de aprendizaje pasibles de evaluación en el contexto

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 67-85.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 73
 G. Schwartzman; C. Roni; M. Berk; E. Delorenzi; M. Sánchez; M. L. Eder
Evaluación Remota de Aprendizajes en la Universidad: decisiones docentes para encarar un nuevo desafío

remoto, 4- características anticipadas de la intervención docente. En segundo

lugar, aportamos una sistematización de los campos que estructuraron los diseños
estudiados (y sus configuraciones posibles) que emerge de los datos.

Sobre los propósitos de la evaluación

La casi totalidad de los docentes diseñaron propuestas vinculadas a la evaluación

del aprendizaje (92%). Encontramos pocos ejemplos donde inferimos otras
dimensiones de la evaluación (Barberà, 2006) como evaluación desde el aprendizaje,
donde se explicita el interés de conocer los saberes previos de sus estudiantes y
cómo pueden ponerlos en juego para resolver situaciones nuevas (10%). Algunos
docentes integran en sus propuestas la evaluación para el aprendizaje, con foco en
el feedback con el objeto de que los alumnos evalúen cómo va su propio aprendizaje y
brindando información que los ayude a seguir pensando y produciendo. Por último,
otros docentes señalan que la información recogida en la evaluación será un insumo
para valorar cómo está resultando la cursada (15%).
Interpretamos que la alta frecuencia de propuestas de evaluación de los
aprendizajes probablemente es producto de la preocupación por responder a una
tarea primordial de la universidad, esto es calificar para acreditar saberes, exigencia
que recae sobre los docentes responsables de las actividades curriculares. Ante
la incertidumbre generada por la pandemia es posible que hayan aprovechado el
contexto de formación, con tutoría, para privilegiar decisiones en este sentido.

Sobre los instrumentos de evaluación

Respecto de los instrumentos de evaluación previstos en sus diseños, identificamos

características particulares respecto a cómo se desarrollan temporalmente, qué
gestión de la grupalidad plantean, cuáles son las prácticas de estudio que involucran,
qué tipo de producto es esperado, cuáles son los recursos digitales seleccionados y
los criterios de valoración privilegiados.
En primer lugar, respecto del desarrollo temporal, encontramos que más de la
mitad de los docentes optó por la asincronía (55%) y casi un 25% por una modalidad
mixta donde se combinan instancias de trabajo asincrónico y sincrónico. Si bien
estas actividades se asemejan a los exámenes domiciliarios, se desarrollan en una
temporalidad regulada por el docente junto a los estudiantes. Esto rompe con la
tradicional forma de evaluar en la presencialidad en un tiempo limitado de aula
y permite a los estudiantes gestionar los momentos de resolución de la actividad
en forma más prolongada. Así, encontramos una adaptación y no una copia de la
presencialidad.
En relación con la gestión de la grupalidad, la mayoría optó por evaluaciones
individuales (61%), y algunos por evaluaciones grupales (16%). Cabe destacar que
también se diseñaron propuestas con etapas combinando momentos de evaluación

74 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 67-85.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 G. Schwartzman; C. Roni; M. Berk; E. Delorenzi; M. Sánchez; M. L. Eder
Evaluación Remota de Aprendizajes en la Universidad: decisiones docentes para encarar un nuevo desafío

individual, de a pares o grupos (14%). Un 9% no explicita el agrupamiento.

Nos preguntamos si la preeminencia de lo individual se vincula con una mayor
seguridad de los docentes respecto de qué aprendizajes atribuir a cada estudiante
para calificarlos. Evaluar una producción grupal resulta más desafiante, en tanto la
individual es una respuesta más convencional para cumplir con el requerimiento de
toda institución universitaria de calificar.
Dentro de las prácticas de estudio involucradas en las evaluaciones, la escritura
es la que presenta mayor porcentaje (80%), aunque, suele conjugarse con la lectura,
oralidad y/o demostración audiovisual.
Asimismo, encontramos que el tipo de actividad esperada por parte del estudiante
remite, en ciertas ocasiones, a prácticas propias del perfil profesional para el que
forman y en otras a prácticas inherentes a la vida universitaria vinculadas con el
estudiantar (Fenstermacher, 1989). Resulta interesante que se privilegien actividades
pertenecientes al primer grupo como análisis de casos clínicos (35%), resolución de
ejercicios que recrean prácticas asistenciales (14%), demostración de maniobras
(10%), redacción de informes de laboratorio (6%) y resolución de problemas
profesionales habituales (6%). Aunque también encontramos producciones propias
del estudiante universitario como resolución de cuestionarios sobre conocimientos
declarativos (20%), escritos monográficos y de reflexión argumental (18%),
exposiciones orales sobre lo estudiado (12%) y armado de producciones gráficas que
reorganizan el conocimiento disciplinar (4%).
Finalmente, los recursos digitales escogidos para vehiculizar estas evaluaciones
fueron diversos: herramientas de videoconferencia (20%), gestor de archivos
del campus virtual institucional (16%), documentos colaborativos (14%), videos
(14%), foros (12%), cuestionarios o formularios (10%), correo electrónico (4%) y
simuladores virtuales (2%). Sin embargo, resulta llamativo que muchos docentes no
especificaron este dato (25%) al diseñar su propuesta.
Para estas evaluaciones los docentes propusieron criterios de valoración diversos.
Encontramos una alta presencia de aquellos vinculados a que los estudiantes
puedan jerarquizar, sintetizar, integrar, fundamentar conceptos, etc. También
incluyeron criterios vinculados con el pensamiento crítico como analizar situaciones,
problematizar o realizar búsqueda bibliográfica crítica. Debido a la preponderancia
de producciones escritas, se propusieron valorar aspectos formales como uso de
vocabulario disciplinar, claridad de la redacción y formatos de entrega.

Sobre los resultados de aprendizaje a evaluar

Los resultados de aprendizaje que los docentes se propusieron evaluar,

probablemente fueron aquellos que en los inicios de la cuarentena consideraron
posibles y viables. Ya se ha mencionado que la hipótesis era de pronto retorno a
la presencialidad. Identificamos dos tipos de resultados de aprendizaje buscados:
1. aprendizajes repetitivos y 2. aprendizajes vinculados a la comprensión de las

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 67-85.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 75
 G. Schwartzman; C. Roni; M. Berk; E. Delorenzi; M. Sánchez; M. L. Eder
Evaluación Remota de Aprendizajes en la Universidad: decisiones docentes para encarar un nuevo desafío

prácticas profesionales: A. para su análisis y B. para su ejercicio. A continuación,

explicamos e ilustramos esta categorización con fragmentos textuales de la empiria.

1. Aprendizajes enfocados en la repetición de ciertos datos, hechos, estructuras.

Encontramos sólo 4 casos (8%) en esta categoría. Algunas de las actividades
que ilustran este tipo de evaluación son: “Completar las partes en un gráfico”;
“Señalar estructuras anatómicas.”
2. Aprendizajes enfocados en la comprensión y la resolución de problemas.
Se trata de conocimientos vinculados a las prácticas profesionales ya sea para
analizarlas o para recrearlas. Presentamos ambas variantes:

A. Análisis de prácticas profesionales: acá se agrupan la mayor cantidad de

propuestas (55%), con variadas intenciones como “Que sean capaces de
identificar conductas/factores de evolución…”; “Que sean capaces de
reflexionar sobre los determinantes sociales de la salud, contextualizar las
intervenciones y entender la salud como un derecho”. En estos casos las
actividades que vehiculizan la evaluación son, por ejemplo “el análisis de
situaciones desde aspectos éticos”; “la lectura crítica; “la interpretación de
gráficos de fenómenos reales”; “el desarrollo de una justificación completa
de todas las respuestas ofrecidas frente a una situación-problema”.
B. Recreación de las prácticas profesionales. Encontramos un número
considerable (37%) de este tipo de evaluaciones centradas en dos tipos de
prácticas disciplinares: vinculadas a la actividad médico-asistencial y a la
actividad académica (Villavicencio, 2018). Inferimos aquí el esfuerzo docente
de preservar en la virtualidad la formación y evaluación de resultados
de aprendizaje estrechamente vinculados a la práctica profesional, con
aprendizajes situados y sosteniendo la complejidad de aprender el “juego
completo” (Perkins, 2010). Se trata de actividades desafiantes (problemas,
casos demostraciones o simulaciones realizadas por los estudiantes) que
requieren la toma de decisiones. Los casos salientes, acordes con esas
intenciones, son por ejemplo el desarrollo de una formulación farmacológica
(se les da el medicamento y “deben decidir con qué componentes lo van
a formular, seleccionar los excipientes y envase a utilizar”); entrevistar
pacientes mediante role playing (“filmar un video entre pares donde uno
tendrá el rol de médico y otro de familiar del paciente-niño”); la resolución
de un caso complejo, (“respondan cómo lo harían, describiendo pasos y
maniobras a realizar”); o comunicarse con un paciente ficticio (“escribirle
a un paciente”).

Vemos entonces que los resultados de aprendizajes buscados se relacionan con

las tareas propuestas y su complejidad. La búsqueda de resultados vinculados a
la repetición plantea tareas de menor dificultad y, al promover la comprensión se

76 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 67-85.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 G. Schwartzman; C. Roni; M. Berk; E. Delorenzi; M. Sánchez; M. L. Eder
Evaluación Remota de Aprendizajes en la Universidad: decisiones docentes para encarar un nuevo desafío

plantean, en cambio, actividades de mayor complejidad para el estudiante. Dicho

desafío promueve aprendizajes más duraderos y transferibles a la práctica profesional
para la cual se están formando (Pozo y Pérez Echeverría, 2009).

Sobre las intervenciones del docente

Analizamos los modos de intervenir estructuradas en 3 aspectos: momentos

y tipos de intervención, razones y vías para hacerlo y diferentes modalidades de
devolución.
Cuando analizamos los momentos en que intervienen, la mayor parte de las
producciones (55%) prevé la intervención docente durante el proceso tendientes a
aclarar dudas u orientar la resolución de la tarea. Otras respuestas (26,5%) refieren
exclusivamente a los “extremos” (Carlino et al., 2013), es decir al inicio o cierre de la
instancia de evaluación (incluyendo docentes que intervienen en ambos extremos o
sólo en uno de ellos). También hay quienes se plantean hacerlo de forma combinada
en los extremos y durante toda la evaluación (18,5%). Al encontrarnos con la gran
cantidad de menciones sobre las intervenciones durante el proceso, nos preguntamos
si será este uno de los aprendizajes que surgen del taller. O será por la “distancia” que
la situación impuso y la necesidad de fortalecer vínculos pedagógicos.
Las acciones que configuran las intervenciones varían según el momento en que
se realizan. Cuando refieren al inicio, por ejemplo, la intervención está vinculada a
la presentación o explicación de la consigna. Durante el proceso mencionan acciones
diversas como responder dudas, formular preguntas desafiantes, sugerir fuentes de
información, acompañar, estimular y guiar, organizar el plenario, aclarar conceptos.
Al final se orientan a dar devoluciones. El fragmento que sigue es un ejemplo del
tipo de intervenciones que se propone realizar un docente durante la evaluación:
“El docente intervendrá durante el proceso de producción dando una devolución
constructiva a las producciones ayudando a seguir pensando y poder llegar al
encuentro sincrónico con material trabajado”.
Las intervenciones difieren además en tanto hay docentes que prevén hacerlo
cuando los estudiantes lo soliciten “para contestar dudas”, “por si no entienden
las consignas” mientras otros consideran valioso y adecuado actuar sin esperar la
demanda de sus estudiantes “el docente realizará una intervención de proceso,
realizando un acompañamiento al estudiante en la producción individual,
orientando dicha producción, redirigiendo a la bibliografía o a un proceso reflexivo,
dependiendo del recorrido del estudiante”.
Respecto de las vías y herramientas que utilizan los docentes para comunicarse
con sus estudiantes e intervenir, el espacio más mencionado es el de los foros (27%).
Este es utilizado como “tablón de anuncios” para comunicar unidireccionalmente
consignas y no tanto para habilitar el intercambio y la construcción colectiva de
respuestas e interpretaciones. El resto de las menciones refieren a intervenciones
mediante correo electrónico (14%), comentarios al margen en documentos

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 67-85.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 77
 G. Schwartzman; C. Roni; M. Berk; E. Delorenzi; M. Sánchez; M. L. Eder
Evaluación Remota de Aprendizajes en la Universidad: decisiones docentes para encarar un nuevo desafío

compartidos en línea (14%) y, en menor medida, a las consultas en encuentros

sincrónicos (8%) o videollamadas (6%). Los últimos dos casos responden a solicitudes
de los estudiantes a diferencia de lo ya planificado que se vehiculiza por las primeras
vías identificadas.
Por último, destacamos que quienes diseñan intervenciones al final prevén
mayormente el feedback individual. Sin embargo, algunos docentes planifican
realizar además un plenario para recuperar las respuestas más adecuadas, las
dificultades más comunes, tal como ilustran los siguientes fragmentos: “Al recibir
las producciones se realizará un feedback general sobre los puntos en común e
individual sobre cada trabajo presentado.”; “Una vez corregidos los exámenes la
docente hará un cierre donde sistematizará el trabajo realizado por el grupo”.
La descripción realizada revela la multiplicidad de aristas que desafían la tarea
docente en la evaluación remota y da cuenta de la gran cantidad de decisiones que
deben tomarse y que van más allá de la elección de un instrumento y del resultado
de aprendizaje a evaluar. A continuación, proponemos una organización sistemática
de estos datos.

Sistematización de los campos emergentes que estructuraron el diseño

de las propuestas de evaluación remota de los aprendizajes

Se muestra a continuación una síntesis del análisis presentado que sistematiza

los campos emergentes y las diversas configuraciones adoptadas. Estos campos y
sus configuraciones organizados en la figura 1 muestran en qué se concentraron las
decisiones de los docentes en la tarea de remotizar la evaluación de los aprendizajes.
En subsiguientes etapas de este estudio esta sistematización podría someterse
a una revisión crítica y justificación a la luz de los marcos teóricos y contribuir en
la construcción y validación de una guía para el diseño de la evaluación virtual. Sin
embargo, ambos objetivos exceden la extensión de esta publicación.

78 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 67-85.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 G. Schwartzman; C. Roni; M. Berk; E. Delorenzi; M. Sánchez; M. L. Eder
Evaluación Remota de Aprendizajes en la Universidad: decisiones docentes para encarar un nuevo desafío

Figura 1
Campos emergentes que estructuraron el diseño instruccional de propuesta de
evaluación remota de los aprendizajes en ciencias de la salud

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 67-85.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 79
 G. Schwartzman; C. Roni; M. Berk; E. Delorenzi; M. Sánchez; M. L. Eder
Evaluación Remota de Aprendizajes en la Universidad: decisiones docentes para encarar un nuevo desafío

CONCLUSIONES

Del análisis de los datos podemos extraer las siguientes conclusiones:

1. La mayoría de los docentes centró su propuesta en la evaluación de los

aprendizajes. Como se mencionó anteriormente, es probable que la necesidad
de acreditar saberes tenga que ver con esta decisión.
2. Privilegiaron el diseño de evaluaciones asincrónicas vinculadas con la producción
escrita individual. Entendemos que la escritura es privilegiada porque permite
reconstruir huellas de los aprendizajes y gestionar un tiempo de menor premura
al estudiante y al docente que valorará su actividad. Entonces, ante la novedad del
contexto impuesto, el producto “texto”, como práctica habitual compartida entre
docentes y estudiantes universitarios, y la dimensión tiempo, se convirtieron en
aliados para gestionar el desafío. Aunque también fueron consideradas instancias
grupales, sincrónicas y de discusión oral.
3. Preservaron la naturaleza y especificidad del contenido de enseñanza de las
ciencias de la salud al momento de diseñar las actividades evaluativas. En sus
propuestas jerarquizaron las prácticas complejas y competencias del ejercicio
profesional. Pese a la dificultad de concurrir a escenarios reales de práctica propios
del campo de la salud, gran parte de los docentes apostaron a la comprensión a
través de evaluaciones ligadas al análisis y recreación de prácticas profesionales.
4. Para esto recurrieron a un repertorio de recursos digitales diversos. Esto
da cuenta de cierta apropiación tecnológica y los esfuerzos de docentes por
privilegiar la naturaleza de lo que querían evaluar, yendo más allá del mandato
de acreditar aprendizajes que podría resolverse con un cuestionario sincrónico.
5. En relación a las intervenciones docentes previstas, la mayoría optó por hacerlo
durante el proceso para andamiar a sus estudiantes. La vía más elegida para las
comunicaciones fue el foro.

REFLEXIONES FINALES

El confinamiento que implicó el COVID-19 enfrentó a los docentes al doble

desafío de remotizar la enseñanza y la evaluación. En la urgencia inicial, y con la
hipótesis subyacente de un pronto retorno a la presencialidad, encontramos un
repertorio variado de propuestas de evaluación diseñadas por docentes universitarios
en ciencias de la salud. Éstas se constituyen en un punto de partida valioso para
pensar con más profundidad el campo de posibilidades que ofrece la remotización
de la enseñanza y la evaluación.
Los docentes se vieron en la necesidad de revisar sus decisiones pedagógicas
y encarar la tarea de evaluar evitando trasladar las prácticas presenciales a la
virtualidad. En este sentido, fueron desafiados a concebir a la evaluación como parte
sustancial de los procesos didácticos, y su desarrollo en línea les requirió mirar

80 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 67-85.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 G. Schwartzman; C. Roni; M. Berk; E. Delorenzi; M. Sánchez; M. L. Eder
Evaluación Remota de Aprendizajes en la Universidad: decisiones docentes para encarar un nuevo desafío

integralmente las prácticas de enseñanza en esa modalidad, considerar los nuevos

modos de circulación en red de conocimientos plasmados en múltiples lenguajes,
reconocer las tecnologías digitales disponibles y cómo abonan a la construcción
de conocimientos al mismo tiempo que potencian la modificación de prácticas
académicas que requieren ser repensadas.
Entre los resultados más salientes aportamos qué rol asumen los docentes
durante el desarrollo de las actividades de evaluación. Este foco es escasamente
abordado por la literatura sobre evaluación, a excepción de los estudios que adoptan
miradas críticas sobre el uso (y abuso) del poder en la toma de exámenes o sobre cómo
hacer devoluciones. Comprender la evaluación como parte del proceso didáctico
supone pensar entonces cómo interviene el docente para sostener (y comprobar) los
procesos de aprendizaje de sus estudiantes
En este estudio nos planteamos la necesidad y el valor de recuperar las preguntas
y decisiones que formularon los docentes para promover mejores prácticas de
enseñanza y evaluación. Desde esta visión sistematizamos los campos emergentes que
estructuraron el diseño de las propuestas de evaluación remota de los aprendizajes.
Creemos que muchas respuestas surgirán de nuevas investigaciones y de
programas que, como los talleres de la FVE, continúen abordando la formación
como invitación a la construcción colectiva y reflexión compartida e incorporen
otras miradas para formar docentes reflexivos de sus prácticas educativas en línea,
presenciales e híbridas.

AGRADECIMIENTO

Agradecemos la colaboración de la becaria Katherine Korniejczuk en la búsqueda

y sistematización de antecedentes y la revisión atenta de este manuscrito a la Dra.
Natalia Rosli.

NOTAS

1.
Entendemos por remotizar a las acciones para sostener la actividad académica
originalmente presencial en contextos de emergencia.
2.
El Plan de Formación para la Virtualización de la Enseñanza se desarrolló durante
todo el ciclo académico 2020 en torno a: a) procesos tecno-pedagógicos, b) autonomía
docente en la gestión de recursos tecnológicos, c) programación de la enseñanza, d)
participación de estudiantes en la sincronía.

REFERENCIAS

Abella García, V., Grande de Prado, M., la evaluación online en las Universidades
García-Peñalvo, F. J., y Corell Almuzara, Públicas de Castilla y León (Versión
A. (2020). Guía de recomendaciones para

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 67-85.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 81
 G. Schwartzman; C. Roni; M. Berk; E. Delorenzi; M. Sánchez; M. L. Eder
Evaluación Remota de Aprendizajes en la Universidad: decisiones docentes para encarar un nuevo desafío

1.1). Zenodo. [Link] Universitario CIFE de Cuernavaca,

zenodo.3780661 México. [Link]
Alruwais, N., Wills, G., y Wald, M. (2018). Contreras Domingo, J. (1990). Enseñanza,
Advantages and challenges of using curriculum y profesorado. Introducción
e-assessment. International Journal of crítica a la didáctica. Akal.
Information and Education Technology, Di Cerbo, K. (2020). Assessment for Learning
8(1), 34-37. [Link] with Diverse Learners in a Digital World.
ijiet.2018.8.1.1008 Educational Measurement: Issues
Barberà, E. (2006). Aportaciones de la and Practice, 39, 90-93. [Link]
tecnología a la e-Evaluación. RED. org/10.1111/emip.12374
Revista de Educación a Distancia, 5(6), Dorrego, E. (2016). Educación a Distancia y
1-13. [Link] Evaluación del Aprendizaje. RED. Revista
Bryan, C., y Clegg, K. (Eds.). (2019). de Educación a Distancia. 50(12). https://
Innovative assessment in higher [Link]/10.6018/red/50/12
education: A handbook for academic D’Souza, K. A., y Siegfeldt, D. V. (2017).
practitioners. Routledge. [Link] A conceptual framework for detecting
org/10.4324/9780429506857 cheating in online and take-home exams.
Camilloni, A., Celman, S., Litwin, E., y Palou Decision Sciences Journal of Innovative
de Maté, M. D. C. (1998). La evaluación Education, 15(4), 370-391. [Link]
de los aprendizajes en el debate didáctico org/10.1111/dsji.12140
contemporáneo. Paidós. Er, H., Nadarajah, V., Wong, P., Mitra,
Carlino, P., Iglesia P., Bottinelli, L., Cartolari, N. (2020). Practical Considerations
M., Laxalt, I. y Marucco, M. (2013). Leer for Online Open Book Examinations
y escribir para aprender en las diversas in Remote Settings. MedEdPublish,
carreras y asignaturas de los IFD que 9(1),153. [Link]
forman a profesores de enseñanza media: mep.2020.000153.1
concepciones y prácticas declaradas de los Fardoun, H., González, C., Collazos, C., y
formadores de docentes. Buenos Aires: Yousef, M. (2020). Estudio exploratorio
Ministerio de Educación de la Nación. en Iberoamérica sobre procesos de
[Link] enseñanza-aprendizaje y propuesta de
carlino/141 evaluación en tiempos de pandemia.
Castro, E. P. (2010). Evaluación de Education in the Knowledge Society.
los aprendizajes y estudio de la [Link]
interactividad en entornos en línea: un Fenstermacher, G. (1989). Tres aspectos de
modelo para la investigación. RIED. la filosofía de la investigación sobre la
Revista Iberoamericana de Educación enseñanza. En M. Wittrock (Comp.), La
a Distancia, 13(1), 17-38. [Link] investigación en la enseñanza Tomo 1.
org/10.5944/ried.1.13.886 Paidós, M.E.C.
Condori Gutiérrez, J. (2020). La evaluación García-Peñalvo, F. J. (2020). Evaluación
de las competencias en un modelo online: la tormenta perfecta. Ensinar A
educativo emergente. Aportes desde el Distância. [Link]
enfoque socioformativo. En J. Luna- bitstream/grial/2007/1/[Link]
Nemecio (Coord.), Memorias del Quinto González-González, C., Infante Moro,
Congreso Internacional de Evaluación A., e Infante Moro, J. C. (2020).
Socioformativa (VALORA-2020). Implementation of E-proctoring in Online
Congreso conducido por el Centro Teaching: A Study About Motivational

82 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 67-85.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 G. Schwartzman; C. Roni; M. Berk; E. Delorenzi; M. Sánchez; M. L. Eder
Evaluación Remota de Aprendizajes en la Universidad: decisiones docentes para encarar un nuevo desafío

Factors. Sustainability. 1, 1-13. https:// Perkins, D. (2010). El aprendizaje pleno.

[Link]/10.3390/su12083488 Principios de la enseñanza para
Harper, R., Bretag, T., Rundle, K. (2020). transformar la educación. Paidós.
Detecting contract cheating: examining Pozo, J. I., y Pérez Echeverría, M. P. (2009).
the role of assessment type. Higher Psicología del aprendizaje universitario:
Education Research & Development, 39, La formación en competencias. Morata.
1-16. [Link] Quesada Castillo, R. (2006). Evaluación del
2020.1724899 aprendizaje en la educación a distancia
Hodges, C., Moore, S., Lockee, B., Trust, T., y “en línea”. RED. Revista de Educación a
Bond, A. (2020). The difference between Distancia, M6 (Número especial dedicado
emergency remote teaching and online a la evaluación en entornos virtuales de
learning. Educause Review, 27. https:// aprendizaje). [Link]
[Link]/articles/2020/3/the- red/M6
difference-between-emergency-remote- Rapanta, C., Botturi, L., Goodyear, P.,
teaching-and-online-learning Guàrdia, L., y Koole, M. (2020). Online
Hoffmann, J. (2010). Evaluación mediadora. university teaching during and after
Una propuesta fundamentada. En R. the Covid-19 crisis: Refocusing teacher
Anijovich (Comp.), La Evaluación presence and learning activity. Postdigital
significativa, 73-102. Science and Education, 1-23. [Link]
Maggio, M. (2012) Enriquecer la Enseñanza. org/10.1007/s42438-020-00155-y
Los ambientes con alta disposición Rivera Mata, J. (2020). How to Teach Online?
tecnológica como oportunidad. Paidós. Recommendations for the assessment of
Milillo, C., Odetti, V., Rogovsky, C., y Trech, online exams with University students
M. (2019). Formatos innovadores para in the USA in times of pandemic. IJERI:
propuestas de educación en línea. En G. I. International Journal of Educational
El Jaber, (Comp.), Actas de IV Jornadas Research and Innovation, 15, 188-202.
Educación a distancia y Universidad, [Link]
Ciudad Autónoma de Buenos Aires: Rose, F. (2012). The art of immersion:
Flacso Argentina, 2020. [Link] how the digital generation is remaking.
[Link]/institucional/publicaciones/ Hollywood, Madison Avenue, and the
formatos-innovadores-para-propuestas- way we tell stories. W. W. Norton &
educacion-linea Company Editor.
Odetti, V., Schwartzman, G., y Bosch, M. Schwartzman, G. (2020). Formación
E. (2020). Formatos innovadores para docente para “virtualizar de emergencia”:
propuestas de educación en línea: una aportes a la respuesta universitaria ante
experiencia transmedia y gamificada. la pandemia COVID-19. Revista Hospital
Boletín SIED, 1(1), 66-72. [Link] Italiano de Buenos Aires, 40(1), 49-51.
[Link]/[Link]/boletin/ [Link]
article/view/25 Schwartzman, G., Roni, C., Sánchez,
ParkJiao, H., y Lissitz, R. W. (2020). M., Delorenzi, E., y Eder, L. (2019).
What Hath the Coronavirus Brought Perspectiva académica de la enseñanza
to Assessment? Unprecedented del profesorado universitario: ¿sobre qué
Challenges in Educational Assessment prácticas reflexionan los docentes a partir
in 2020 and Years to Come. Educational de su formación? Congreso Europeo de
Measurement: Issues and Practice, Scholarship of Teaching and Learning
39, 45-48. [Link] (EuroSoTL). [Link]
emip.12363

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 67-85.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 83
 G. Schwartzman; C. Roni; M. Berk; E. Delorenzi; M. Sánchez; M. L. Eder
Evaluación Remota de Aprendizajes en la Universidad: decisiones docentes para encarar un nuevo desafío

University of Twente (2020). Choosing Villavicencio, M. (2018). Comunicación

remote assessment method & tool. académica: prácticas de lectura y
TELT. Technology Enhanced Learning & escritura en el aula. Don Bosco.
Teaching. [Link]

PERFIL ACADÉMICO Y PROFESIONAL DE LOS AUTORES

Gisela Schwartzman. Mg. en Enseñanza y Aprendizaje Abiertos y a Distancia

(UNED, España). Lic. en Ciencias de la Educación (UBA, Argentina). Coordinadora
de Docencia Universitaria y directora de la Especialización en Docencia universitaria
IUHIBA. Coordinadora Pedagógica PENT-FLACSO donde dirige el posgrado
en Educación y Tecnologías. Formadora de docentes universitarios desde hace
15 años. Consultora en Tecnologías y Educación para organismos nacionales e
internacionales. Investiga en didáctica, formación docente y sobre inclusión de
tecnologías en educación. [Link]
E-mail: [Link]@[Link]

Carolina Roni. Doctora en Cs. de la Educación (CONICET-UNLP). Investiga

y trabaja en formación docente en el IUHIBA, donde además actualmente ejerce el
cargo de Subdirectora del Departamento de Educación. Se especializa en didáctica y
pedagogía del nivel medio y superior, situada en las ciencias naturales y las ciencias
de la salud. También es investigadora del GICEOLEM con quienes indaga sobre
la función epistémica de la escritura y la alfabetización académica. [Link]
org/0000-0002-3115-3689
E-mail: [Link]@[Link]

Michelle Berk. Lic. en Ciencias de la Educación por la Universidad de Buenos

Aires, Argentina. Investiga y trabaja en el Departamento de Educación del IUHIBA,
donde actualmente se dedica al asesoramiento pedagógico a carreras de posgrado, la
acreditación de carreras universitarias, y la formación de docentes de nivel superior;
temáticas sobre las cuales también investiga. [Link]
0715
E-mail: [Link]@[Link]

Erica Delorenzi. Lic. en Ciencias de la Educación por la Universidad de Buenos

Aires. Sub-Coordinadora de Formación Docente IUHIBA. Secretaria Académica
de la Especialización en Docencia universitaria para profesionales de la salud del
IUHIBA y Asesora pedagógica y docente en el Departamento de Educación de dicha
universidad. Investiga sobre formación docente en nivel superior. [Link]
org/0000-0002-1106-0899
E-mail: [Link]@[Link]

84 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 67-85.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 G. Schwartzman; C. Roni; M. Berk; E. Delorenzi; M. Sánchez; M. L. Eder
Evaluación Remota de Aprendizajes en la Universidad: decisiones docentes para encarar un nuevo desafío

Mariana Sánchez. Lic. y Prof. en Ciencias de la Educación (UBA, Argentina).

Investiga y trabaja en el Departamento de Educación del IUHIBA, donde actualmente
se dedica a la formación de docentes universitarios y a la asesoría pedagógica de
carreras de grado. Investiga sobre género y diversidad en la universidad y sobre
temas de didáctica vinculados a la formación de docentes universitarios. https://
[Link]/0000-0003-0316-8602
E-mail: [Link]@[Link]

María Laura Eder. Doctora en Educación (UBA, Argentina), Magister en

Didáctica y Lic. en Ciencias de la Educación (UBA, Argentina). Secretaría académica
del Instituto Universitario del Hospital Italiano y de la Maestría en educación para
profesionales de la salud, Subdirectora de la especialización en docencia universitaria
de la misma universidad. Es formadora de docentes universitarios desde hace más de
25 años. Investiga en temas de didáctica universitaria y sobre la formación docente
en la educación superior. [Link]
E-mail: [Link]@[Link]

DIRECCIÓN DE LOS AUTORES

Departamento de Educación
Instituto Universitario Hospital Italiano de Buenos Aires (IUHIBA)
Potosí 4234 (1199) - Ciudad de Buenos Aires (Argentina)

Fecha de recepción del artículo: 11/12/2020

Fecha de aceptación del artículo: 15/02/2021
Fecha de aprobación para maquetación: 26/02/2021

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 67-85.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 85
I.S.S.N.: 1138-2783

Validación de una plataforma de evaluación

formativa de la competencia digital docente
en tiempos de Covid-19
(Validation of a Platform for Formative Assessment of
Teacher Digital Competence in Times of COVID-19)

Virginia Viñoles-Cosentino
Francesc Marc Esteve-Mon
Mª Ángeles Llopis-Nebot
Jordi Adell-Segura
Universitat Jaume I, UJI (España)

DOI: [Link]

Cómo referenciar este artículo:

Viñoles-Cosentino, V., Esteve-Mon, F. M., Llopis-Nebot, M. A., y Adell-Segura, J.
(2021). Validación de una plataforma de evaluación formativa de la competencia
digital docente en tiempos de Covid-19. RIED. Revista Iberoamericana
de Educación a Distancia, 24(2), pp. 87-106. [Link]
ried.24.2.29102

Resumen

La progresiva incorporación de las tecnologías digitales en la educación superior ha

puesto de manifiesto la necesaria competencia digital docente (CDD). Una competencia que
no solo implica conocimientos técnicos, sino también pedagógicos y de empoderamiento
del estudiante. En la última década, algunas universidades han revisado sus planes de
digitalización o transformación digital, alineando sus estrategias y políticas formativas en el
desarrollo de esta competencia, algo que todavía se ha vuelto más necesario, si cabe, durante la
crisis sanitaria derivada de la Covid-19. El presente artículo, que se enmarca en un proyecto de
investigación basado en el diseño de una plataforma de autoevaluación y formación en CDD,
profundiza de manera cualitativa en la valoración del profesorado acerca de esta competencia,
en la utilidad de esta plataforma de evaluación y formación, y en la percepción sobre el efecto
de la pandemia en este ámbito. Las entrevistas semiestructuradas en profundidad de docentes
universitarios, gestores universitarios y técnicos en tecnología educativa (n=15), fuente
principal de información, permiten profundizar en el análisis de la CDD y generar una serie
de principios de diseño útiles para el desarrollo de este tipo de plataformas y para el diseño de
estrategias y políticas de formación digital del profesorado.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 87-106.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 87
 V. Viñoles-Cosentino; F. M. Esteve-Mon; M. Á. Llopis-Nebot; J. Adell-Segura
Validación de una plataforma de evaluación formativa de la competencia digital docente en tiempos de Covid-19

Palabras clave: competencia digital docente; enseñanza superior; formación docente;

evaluación educativa.

Abstract

The progressive incorporation of digital technologies in higher education has highlighted

the need for teacher digital competence (TDC). A competence that not only implies technical
knowledge, but also pedagogical knowledge and student empowerment. Over the last decade,
some universities have revised their digitalisation or digital transformation plans, aligning
their training strategies and policies with the development of this competence, something
which has become even more necessary, if possible, during the health crisis resulting from
Covid-19. This article, which is part of a research project based on the design of a self-
assessment and training platform in TDC, teacher digital competence, delves qualitatively
into teachers’ assessment of this competence, the usefulness of this assessment and training
platform, and the perception of the effect of the pandemic in this area. Semi-structured-in-
depth-interviews with university teachers, university managers and educational technology
technicians (n=15), the main source of information, allow for an in-depth analysis of the TDC
and generate a series of design principles useful for the development of this type of platforms
and for the design of strategies and policies for the digital teacher training.

Keywords: teacher digital competence; higher education; teacher training; educational

assessment.

En la última década se ha evidenciado la importancia de impulsar mecanismos de

transformación digital en la universidad, que incidan en los procesos de enseñanza-
aprendizaje (Marshall, 2018). Este hecho, ha quedado más patente durante el 2020
debido a la crisis derivada por la Covid-19, la cual ha generado múltiples situaciones
formativas disruptivas, y una proliferación sin precedentes de actividades docentes
en espacios semipresenciales, híbridos o totalmente en línea (Marinoni et al., 2020).
La inclusión de tecnologías digitales (TD) en el ámbito educativo exige la
adaptación y desarrollo de nuevas competencias docentes (López et al., 2016). Para
aprovechar el potencial de las herramientas digitales en los procesos formativos,
así como para gestionar estas nuevas situaciones de aprendizaje enriquecidas por
las TD), es necesario que el profesorado universitario disponga de una adecuada
competencia digital docente (CDD) (Fernández-Batanero et al., 2020). Esta
competencia comprende el conjunto de habilidades, conocimientos y actitudes que
deben poner en juego los docentes para facilitar el aprendizaje de los alumnos a través
del diseño y aplicación de prácticas formativas ajustadas al contexto digital (Gisbert
et al., 2016). La CDD permite al profesorado responder a los desafíos de la sociedad
digital, potenciar el proceso de enseñanza-aprendizaje y continuar desarrollándose
profesionalmente, colaborando con otros colegas y actualizándose; e incrementar

88 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 87-106.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 V. Viñoles-Cosentino; F. M. Esteve-Mon; M. Á. Llopis-Nebot; J. Adell-Segura
Validación de una plataforma de evaluación formativa de la competencia digital docente en tiempos de Covid-19

también la competencia digital (CD) de su estudiantado, una competencia clave para

su empoderamiento y ciudadanía digital (Esteve et al., 2020a).
Sin embargo, como plantea Pettersson (2018), el desarrollo de la CDD no puede
ser responsabilidad exclusiva de los docentes. Las universidades deben responder
a estas nuevas demandas con una adecuada formación digital docente, algo que no
siempre se contempla adecuadamente en los planes de formación del profesorado
(Marín et al., 2012).
El trabajo que se presenta a continuación se enmarca en un proyecto de
investigación que se centra en analizar la CDD del profesorado universitario y
diseñar una plataforma formativa que facilite su desarrollo. Los objetivos planteados
son, profundizar en la percepción del nivel de CDD, conocer la valoración de la
herramienta formativa a partir de las distintas visiones de sus potenciales usuarios,
así como analizar la posible incidencia de la pandemia de la Covid-19 en esta
competencia y en la formación digital del profesorado.

LA COMPETENCIA DIGITAL DOCENTE DEL PROFESORADO

UNIVERSITARIO

La CDD es un constructo relativamente reciente, y ello dificulta hallar una

definición teórica unificada, en cambio, existen numerosos marcos conceptuales y
modelos, a nivel internacional, que han tratado de caracterizarla (Caena y Redecker,
2019). Según Krumsvik (2012) puede definirse como la capacidad del docente
para usar las tecnologías con un adecuado criterio pedagógico y didáctico, frente
a unos contenidos concretos, así ser consciente de estas e incluirlas como parte
de sus estrategias de aprendizaje permanente. Según autores como Hall et al.
(2014), la CDD comprende el conjunto de habilidades, conocimientos y actitudes
necesarias para favorecer el aprendizaje de sus estudiantes, en una sociedad cada
vez más digitalizada, transformando las prácticas de aula, y enriqueciendo su propio
desarrollo e identidad como docente.
A pesar de la existencia de múltiples marcos de CDD, la mayor parte de estos
se centran en etapas docentes preuniversitarias (Durán et al., 2016). Uno de los
más conocidos es el Marco Europeo para docentes digitalmente competentes
(DigCompEdu), elaborado por el Joint Research Center de la Comisión Europea
(Redecker y Punie, 2017), y que sintetiza esta competencia en 6 áreas: (1)
compromiso profesional, es decir, la comunicación y colaboración profesional,
o la práctica reflexiva y desarrollo profesional; (2) la selección, creación y gestión
de recursos digitales; (3) la enseñanza, tutorización y aprendizaje, (4) el diseño de
estrategias de evaluación y retroalimentación al estudiante; (5) el empoderamiento,
personalización e inclusión del estudiante, y (6) el desarrollo de la propia CD de sus
estudiantes. Si bien se trata de un marco amplio, usado en niveles no universitarios,
ha sido adaptado y utilizado en algunas universidades (Alarcón et al., 2020; Tourón
et al., 2018).

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 87-106.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 89
 V. Viñoles-Cosentino; F. M. Esteve-Mon; M. Á. Llopis-Nebot; J. Adell-Segura
Validación de una plataforma de evaluación formativa de la competencia digital docente en tiempos de Covid-19

En los últimos años han aparecido distintos estudios que analizan la CDD del
profesorado universitario (Esteve et al., 2020a). Gran parte de estas investigaciones
evidencian que el profesorado posee, en general, un nivel medio-alto en habilidades
técnicas, destacando aspectos informacionales y comunicativos (Rangel y Peñalosa,
2013). Sin embargo, se detectan niveles intermedios y bajos en la dimensión
pedagógica de esta competencia, tanto en la planificación y el diseño de situaciones
de aprendizaje con TD como en la evaluación del estudiante (Pozos y Tejada, 2018) e
igualmente se evidencian niveles medio-bajos en el uso de las TD para el desarrollo
profesional, como puede ser la participación en redes y foros, o el uso de repositorios
educativos (Orozco et al., 2016). Estas deficiencias pueden deberse a la falta de
estrategias universitarias para la integración de las tecnologías en las aulas, lo cual
impacta negativamente en la percepción de los propios docentes, especialmente
entre los más innovadores (Mercader y Gairín, 2020).

ESTRATEGIAS Y POLÍTICAS UNIVERSITARIAS PARA EL

DESARROLLO DE LA COMPETENCIA DIGITAL DOCENTE

Ante la necesidad de atender a las necesidades de los docentes en educación

superior, las universidades, durante la última década, han ido adquiriendo el
compromiso de adaptar su propuesta formativa a esta realidad. Sin embargo, los
itinerarios formativos dirigidos al profesorado, resultan muchas veces insuficientes,
descontextualizados y en algunos casos, con poca posibilidad de aplicarse en el
aula (Halász, 2019). Las principales limitaciones en el establecimiento de planes de
formación docente han sido (1) presentar prácticas no adecuadas o inconsistentes
respecto a los objetivos perseguidos; (2) carecer de visión crítica respecto a la
valoración de resultados; (3) partir de enfoques limitados, que no contemplan la
complejidad del cambio educativo ni se adaptan a la realidad del contexto y (4) la
falta de apoyo institucional (Ion y Cano, 2012; Ruè, 2015).
Al revisar las distintas iniciativas de formación y digitalización docente en
educación superior, se encuentran tres tipos de estrategias principales. Por un lado,
algunas universidades como la de Bergen (2016), Athabasca (2018) o Auckland (2018)
centran sus esfuerzos en implementar mejoras en las infraestructuras tecnológicas
del campus, promover la cultura del cambio y favorecer el uso de servicios digitales.
Otras universidades centran sus políticas formativas en el desarrollo de la CD de
su alumnado, tal sería el caso de la Universidad Católica de Lovaina (2015), que
promueve la creación de recursos educativos libres, de MOOC, y de servicios de
apoyo para la formación y el aprendizaje digital. El tercer enfoque, llevado a cabo
en universidades como la de Aalborg (2018) o Ginebra (2019), implementaron en su
plan estratégico de digitalización una serie de acciones para el desarrollo de la CD de
toda la comunidad universitaria, apoyando la creación de recursos digitales para la
enseñanza y el aprendizaje tales como herramientas de autoevaluación de la CD y de
formación presencial y en línea, en función de las carencias detectadas.

90 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 87-106.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 V. Viñoles-Cosentino; F. M. Esteve-Mon; M. Á. Llopis-Nebot; J. Adell-Segura
Validación de una plataforma de evaluación formativa de la competencia digital docente en tiempos de Covid-19

CONTEXTO DE LA INVESTIGACIÓN

La presente investigación se ha llevado a cabo en el contexto de la Universitat

Jaume I (UJI) de Castellón (España), que en 2019 inició un proceso de diagnóstico y
definición de su estrategia de digitalización, denominado Plan UJI Digital (Universitat
Jaume I, 2020). Este plan recoge una serie de acciones estratégicas enmarcadas en 4
ejes: (1) la CD de la comunidad universitaria; (2) la educación digital y en línea; (3)
la investigación y la transferencia digital; y (4) los procesos y servicios que facilitan la
digitalización universitaria. Entre las acciones relacionadas con la mejora de la CDD
destacan, concienciar al profesorado sobre la importancia de dicha competencia
en su desarrollo profesional, proporcionar elementos de evaluación diagnóstica y
continuada, e implementar itinerarios y recursos formativos para su desarrollo.
Tomando como referencia el marco europeo DigCompEdu (Redecker y Punie, 2017),
se ha diseñado el plan de formación del profesorado para el curso 2020-2021, y a
su vez han surgido diferentes proyectos de investigación buscando desarrollar, en
primer lugar, una plataforma de autoevaluación digital docente y, en segundo lugar,
una web bajo la cual se centralizan y organizan los recursos formativos.
La plataforma de autoevaluación diagnóstica ([Link] cuenta con un
cuestionario de autopercepción a través del cual el profesorado conoce su nivel de
CDD, adaptando el marco DigCompEdu al contexto particular de la institución.
Esta herramienta fue diseñada en el 2019, y validada durante 2020 con una
muestra representativa de 558 docentes universitarios, de los diferentes ámbitos
de conocimiento y categorías profesionales (Llopis et al., 2020). Para garantizar
que los ítems eran comprendidos, previamente se validaron mediante grupos
focales y entrevistas cognitivas (Drennan, 2003) y se administró a un grupo piloto,
obteniéndose un índice de fiabilidad alto (α = 0.94) según el alfa de Cronbach. Los
resultados obtenidos sugieren que el profesorado posee un nivel medio-alto en su
competencia profesional digital, relacionada con habilidades comunicativas y de
organización personal. Con unas puntuaciones ligeramente inferiores, se encuentran
áreas relacionadas con el empoderamiento digital del alumnado o el ámbito
pedagógico, en relación a la creación de recursos digitales o el uso de las TD para la
enseñanza y la evaluación del aprendizaje, debiéndose incidir en su formación.
En la segunda parte del proyecto se desarrolló la plataforma de recursos de
formación en CDD del profesorado universitario ([Link] Esta
herramienta recoge propuestas formativas de la universidad (cursos, seminarios y
talleres) y permite establecer un filtrado o bien, en función de las áreas de la CDD
del modelo DigCompEdu, o bien a partir de características que determine el propio
usuario, como puede ser el nivel de complejidad (básico, intermedio y avanzado) o
la modalidad de la formación (presencial, virtual y semipresencial) (Esteve et al.,
2020b).

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 87-106.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 91
 V. Viñoles-Cosentino; F. M. Esteve-Mon; M. Á. Llopis-Nebot; J. Adell-Segura
Validación de una plataforma de evaluación formativa de la competencia digital docente en tiempos de Covid-19

METODOLOGÍA

La investigación se llevó a cabo en la UJI y se enmarca dentro de los estudios

de investigación para el diseño educativo (Educational-Design Research, EDR).
Siguiendo los planteamientos del EDR (Plomp y Nieveen, 2009), en esta fase del
proyecto se pretende explorar en profundidad los criterios de calidad (validez,
practicidad y efectividad) aplicados al desarrollo de la plataforma de evaluación de la
CDD y de los recursos educativos para la formación digital del profesorado. Para ello,
y partiendo de los objetivos planteados, este estudio trata de explorar tres preguntas
principales:

1. ¿Hasta qué punto es válido el nivel de CDD del profesorado universitario

obtenido en la plataforma de autoevaluación diagnóstica?
2. ¿Hasta qué punto resulta de utilidad la plataforma de recursos de formación en
CDD de la universidad?
3. ¿Cómo ha afectado la pandemia derivada de la Covid-19 en la percepción del
profesorado universitario sobre su CDD?

A través de entrevistas semiestructuradas (Corbin y Strauss, 2015), se

exploran las cuestiones anteriores en una muestra formada por 15 miembros de la
comunidad universitaria: (a) 9 docentes universitarios (“P1-9”), de diferentes áreas
de conocimiento (1 de Ciencias de la Salud y Comportamiento, 2 de Ingeniería y
Arquitectura, 2 de Ciencias Sociales, 2 de Artes y Humanidades, y 2 de Ciencias
Jurídicas y Económicas) y distintas categorías profesionales (1 Catedrática, 2
Profesores Titulares, 1 Contratado Doctor, 3 Ayudantes Doctores y 2 Asociados);
(b) 3 gestores (“G1-3”), responsables de políticas de la universidad, del ámbito de
la formación, la investigación y la internacionalización; y (c) 3 técnicos (“T1-3”),
responsables de los planes de formación digital del profesorado. El número de
participantes y su tipología fue elegida de manera deliberada (purposive sampling),
siguiendo criterios de muestreo por intensidad (intensity sampling) e informantes
clave (Tessmer, 1993), por el cual, sin ser una muestra estadísticamente representativa
de sujetos, se recogen situaciones extremas que manifiesten con gran intensidad el
fenómeno en estudio, permitiendo su representatividad o comparabilidad (Teddlie
y Yu, 2007), adecuada en estudios cualitativos y mixtos, así como en procesos de
construcción de teoría fundamentada. En la selección de la muestra se establecieron
tres criterios de inclusión: (1) que hubieran participado, de manera voluntaria, en
la fase de autoevaluación de su CDD, previa a la Covid-19; (2) que utilizaran las
TD en su docencia universitaria; y (3) que impartieran docencia posteriormente al
confinamiento por la Covid-19.
Siguiendo a Tessmer (1993), las entrevistas incluyeron tres secciones: (1) una
inicial, centrada en contrastar los resultados de la autoevaluación de la CDD del
profesorado universitario de la UJI, a partir de la revisión de estos; (2) una segunda,

92 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 87-106.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 V. Viñoles-Cosentino; F. M. Esteve-Mon; M. Á. Llopis-Nebot; J. Adell-Segura
Validación de una plataforma de evaluación formativa de la competencia digital docente en tiempos de Covid-19

con cinco preguntas abiertas centradas en la usabilidad, claridad y practicidad del

portal de recursos para la formación digital; y (3) una última sección con preguntas
abiertas acerca de las políticas universitarias de formación digital, y el efecto de
la Covid-19 en la CDD. Las entrevistas duraron un promedio de 40 minutos y se
realizaron durante el mes de noviembre de 2020. Todas fueron realizadas por
videoconferencia, grabadas y codificadas, de manera simultánea, utilizando un
enfoque deductivo basado en conceptos o codebook, a partir de las preguntas de
investigación (Saldaña, 2015), y utilizando para ello el software de análisis cualitativo
MAXQDA (versión 2018). El marco de conceptos fue diseñado con anterioridad a
la realización de las entrevistas, discutido y ampliado posteriormente, para incluir
aspectos surgidos en las mismas. Todos los desacuerdos en la codificación se
resolvieron mediante discusión y, a partir de esta, se seleccionaron las respuestas
coincidentes y su interpretación (Corbin y Strauss, 2015).

RESULTADOS

A continuación se detallan los principales resultados obtenidos, organizados

según las preguntas de investigación. Los resultados se presentan mediante un
análisis narrativo, acompañado de fragmentos y citas literales, contextualizadas e
interpretadas (Rodríguez-Gómez et al., 1999), que permite ilustrar y entender mejor,
desde la perspectiva de los propios participantes, el nivel de CDD, la utilidad de la
plataforma formativa, y la posible incidencia de la pandemia.

Nivel de competencia digital docente del profesorado universitario

Uno de los aspectos más mencionados durante las entrevistas está relacionado
con el ajuste entre la autopercepción del profesorado respecto a su CDD a partir de los
resultados del cuestionario, en comparación con la realidad. Algunos participantes
manifestaron que dicho nivel se ajustaba a lo que ellos percibían como nivel general
de CDD en la universidad, sin embargo, otros participantes los consideraron bastante
más elevados de lo que hubieran esperado.

“Sí que creo que la percepción de la mayoría de los docentes sea un nivel medio,
porque ha habido recursos, la universidad sí que ha proporcionado recursos”
(P1).
“Me da la sensación de que somos muy optimistas (...) El profesorado se ve muy
bien, se ve de una manera muy complaciente” (P6).
“Creo que hay una parte importante de autoengaño en función de lo que yo
conozco, a mí no me cuadra con todo lo que estoy viendo en el día a día, no lo
identifico, sobre todo porque es muy alto”(P9).

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 87-106.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 93
 V. Viñoles-Cosentino; F. M. Esteve-Mon; M. Á. Llopis-Nebot; J. Adell-Segura
Validación de una plataforma de evaluación formativa de la competencia digital docente en tiempos de Covid-19

“Sí que me cuadra que un 20% de la población del profesorado tenga un nivel
bajo o muy bajo de competencia digital. Y un 80% que lo tenga intermedio o
alto también. Me sorprende que haya casi un 40% que digan que es alto, con lo
cual tienen una muy buena percepción de sí mismos. Pero sí, yo creo que está
bastante ajustado”(T2).

En cuanto a las áreas de competencias profesionales en el ámbito digital, se

extrae que estas competencias se ven altamente favorecidas por las características
de la universidad, se trata de una universidad joven, con adecuada infraestructura, y
que ha implementado estrategias de formación digital desde tiempo atrás.

“En cuanto al compromiso profesional, competencias profesionales digitales,

entiendo que sea tan alto porque la universidad ha hecho un gran esfuerzo en
digitalización en estos últimos dos, tres años” (P4).
“Ahí sí que no me extraña porque en ese sentido nuestra universidad fue la
primera en digitalizarse, al tener que utilizar las herramientas digitales el
profesorado tiene que tener un mínimo, por eso salen un poco más alto las
primeras y no tanto la de motivación a estudiantes” (G2).

Sin embargo, la mayor parte de los participantes señalan como demasiado

elevados los resultados relativos a las competencias didácticas y empoderamiento
del estudiantado, diferenciando entre lo que sería un cambio metodológico a través
del uso de la tecnología de lo que es su mero uso instrumental para la docencia.

“Lo de competencias didácticas lo veo demasiado alto, pero hablo desde mi

perspectiva personal. No nos ha dado tiempo a lograr eso creo yo, una cosa es
que uses la tecnología y otra cosa que la uses con un método didáctico, que creo
que es bastante distinto” (P2).
“No es que sea la gente que quiera engañar, sino que es la percepción que se
tiene, que tú tengas un Aula Virtual y cuelgues lo mismo que antes dejabas en
reprografía, eso no es” (P9).
“La parte de competencias de los estudiantes, empoderarlos sobre todo, las veo
notablemente hinchadas, es la que veo más anormalmente alta” (T3).

Mayoritariamente, las personas entrevistadas atribuyen esta supuesta desviación

de resultados a la voluntariedad de participación en la encuesta. Ello podría implicar
que quienes participan creen tener nivel suficiente de CDD o bien están más
comprometidas con su formación:

94 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 87-106.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 V. Viñoles-Cosentino; F. M. Esteve-Mon; M. Á. Llopis-Nebot; J. Adell-Segura
Validación de una plataforma de evaluación formativa de la competencia digital docente en tiempos de Covid-19

“Hay que ver si la gente que no tiene competencia digital se atreve a hacer una
encuesta de este tipo y mostrarlo. A lo mejor hay parte oculta de gente que le da
vergüenza reconocerlo... aquí vienen los convencidos” (P2).
“He pensado que seguramente las 600 personas que contestamos precisamente
eran, yo me pongo en esa línea, quienes tuvimos mucho compromiso (…) La
gente que no estuvo implicada o no tiene mucho compromiso en este asunto
pues seguramente tampoco hizo la encuesta” (P7).
“Al ser sobre una base voluntaria, siempre tienes un sesgo, a lo mejor de ahí
sale que tenga ese gran porcentaje de competencia alta. Así, esos datos sí que
me cuadrarían” (G3).

No obstante, cuando se incide en si ven su propio nivel de CDD reflejado en los

resultados, manifiestan de forma casi unánime que sí se identifican con ellos, tanto en
el nivel general de competencia, como en la distribución por áreas de conocimiento.

“Sí que me siento reflejada, me sorprendió también en la autoevaluación el

tener un poco más bajo el apartado de competencias de los estudiantes” (P3).
“Por ejemplo a mí sí que me pasaba esto. Tenía como mucho mejores las dos
primeras: competencias profesionales y competencias didácticas, comparado
con el tema de empoderar al estudiantado, de facilitar las competencias
digitales del estudiantado” (P5).

Finalmente, durante las entrevistas también se han sugerido nuevos aspectos a

investigar, como la posibilidad de triangular los resultados incorporando la visión
del estudiantado, o analizar la posible influencia del sesgo de género.

“El alumno no tiene esta percepción, no sé si habéis hecho la encuesta a los

alumnos pero la distorsión sería tremenda” (P7).
“Hay otro tema, que me permito introducir, que es el de la brecha de género.
Ahí hay como fuerzas contradictorias ¿no? Por un lado partimos de una brecha
digital en las mujeres, general en la sociedad, que es verdad que en algunos
aspectos se va superando. Pero en el ámbito educativo tengo mis dudas si no se
da al contrario. La preocupación por la formación docente también tiene una
brecha, pero al contrario, esto probablemente ha hecho que en general, aún
superando la supuesta tecnofobia femenina, nos formásemos más en general”
(P6).
“A lo mejor se puede encuestar al alumnado para ver qué tipo de percepción
tienen. Es que creo que esto ha sido un antes y un después, ellos tienen una
visión totalmente diferente seguramente” (G3).

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 87-106.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 95
 V. Viñoles-Cosentino; F. M. Esteve-Mon; M. Á. Llopis-Nebot; J. Adell-Segura
Validación de una plataforma de evaluación formativa de la competencia digital docente en tiempos de Covid-19

Utilidad de la plataforma de recursos de formación en CDD

La amplia mayoría de participantes encuentra útil contar con una plataforma

como la desarrollada en el proyecto, que permita el autodiagnóstico de la CDD, y a
partir de los resultados ofrezca recursos para la formación digital.

“Útil totalmente, porque ahí en función a tu nivel puedes elegir. Es útil porque te
marca el nivel, la percepción que tengas de tu nivel te puede acercar a los cursos
que más se ajustan” (P1).
“Me parece genial, porque no es lo mismo simplemente poner cursos de
competencia digital, a hacerte una autoevaluación de tu competencia digital y
ver donde fallas más” (P5).
“Me ha gustado que esté disponible la explicación de en qué consiste cada área.
Me parecería útil que después de contestar la encuesta le sugiera qué cursos
serían más útiles” (T1).
“Me parece muy práctico y claro. Lo ideal es intentar que el profesorado
primero haga un autodiagnóstico y se conciencie, sepa en qué punto está y qué
tiene para mejorar. Me parece súper práctico porque con áreas a mejorar y
con filtros es muy fácil detectar la formación ofrecida para que pueda mejorar”
(T2).

Además de la utilidad en sí, se destaca el valor formativo de la plataforma, como

herramienta beneficiosa para la sensibilización acerca de la importancia de la CDD.

“Me parece interesante como repositorio de recursos, y además para formar

en el metalenguaje adecuado cuando hablamos de competencia digital y qué
implica la competencia digital” (P4).

Sobre los cursos de formación que se incluyen en la plataforma, diferentes

participantes sugieren que sería interesante que los materiales pudieran estar
disponibles y accesibles de manera permanente.

“Los cursos online en teoría no tienen fecha de caducidad. Entiendo que para la
certificación o para lo que sea, sí, pero puedes acceder luego igualmente a los
recursos. Los recursos tendrían que estar siempre, aunque los foros no vayan.
La tutorización, sí, es importante en los cursos a distancia. Pero creo que los
cursos deberían estar abiertos siempre” (P2).
“(Es importante) acercar toda esta formación al profesorado, la posibilidad de
interactuar con todos esos recursos, que sea más cercana y más inmediata. Lo
necesito aquí y ahora, y puedo acceder” (P4).

96 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 87-106.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 V. Viñoles-Cosentino; F. M. Esteve-Mon; M. Á. Llopis-Nebot; J. Adell-Segura
Validación de una plataforma de evaluación formativa de la competencia digital docente en tiempos de Covid-19

“Iría más allá, que hubiera dentro de esta plataforma algún tipo de indicación
a recursos estáticos, este curso se acabó pero puedes obtener más información
aquí” (G1).

Entre los elementos de mejora del portal se cita, por un lado, la posibilidad de
integrar un buscador abierto que permita localizar fácilmente el material, y por otro,
la inclusión de un sistema de valoración o recomendación de las ofertas formativas.

“Esto tendrá éxito o no, si tú encuentras rápido lo que buscas. Eso de acumular
información… yo lo que quiero es encontrar rápido la solución. Puede ayudar
mucho poner lo más solicitado, como en Youtube, lo más pedido, que tenga más
visitas. Si algo se ve muchas veces es que está bien hecho” (P2).

También se destaca la importancia de brindar más información sobre los recursos

que se muestran a través del portal, así como una adecuada difusión para optimizar
su alcance entre el profesorado.

“Me ha gustado que esté disponible la explicación de cada área, al profesor no

le ayudan mucho las categorías si no se le explica y me parece muy útil que esté
explicado para que vea que categorización hay” (T1).
“Me parece importante saber quién da un curso, por qué se especializan en eso.
La parte ética también es importante para mí, quién está detrás”(P9).
“El tema es la publicidad, enterarse… en la universidad recibimos tantos emails,
que se me escapan” (P5).

Un aspecto deseable para el portal tiene que ver con su carácter interactivo
y bidireccional. Se menciona, por parte de los tres colectivos entrevistados, la
posibilidad de que el profesorado haga llegar sus sugerencias y peticiones específicas
de formación, así como la posibilidad de abrir espacios de intercambio de información
y ayuda colaborativa entre usuarios.

“Le añadiría alguna opción para recabar peticiones del profesorado, entro
y quiero formarme más sobre empoderamiento del alumnado y veo que está
el nivel básico, y a lo mejor quisiera algo con nivel un poco más intermedio-
avanzado” (T2).
“Algún foro de gente que está haciendo los cursos. Al final aprendemos mucho
porque preguntamos, compartimos. «Yo utilicé para tal cosa esto». Un foro
estaría muy bien que genere interacción y comunicación con gente que está
trabajando los mismos temas que nosotros, que podamos aportar y que nos
aporten” (P1).

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 87-106.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 97
 V. Viñoles-Cosentino; F. M. Esteve-Mon; M. Á. Llopis-Nebot; J. Adell-Segura
Validación de una plataforma de evaluación formativa de la competencia digital docente en tiempos de Covid-19

“Es interesante un foro de comunicación para que ese tipo de experiencias y

buenas prácticas se vean, es muy interesante saber qué hacen los demás. Te
comparas, «yo esto no lo estoy haciendo me resultaría interesante»” (G1).

Finalmente, se reflexiona sobre algunos desafíos que plantea la formación

docente universitaria, como es la heterogeneidad del profesorado que proviene de
distintos ámbitos de conocimiento, y que puede tener necesidades formativas muy
distintas, unido a la complejidad de estructurar la formación teniendo en cuenta los
diversos niveles de competencia de los que parte cada cual.

“Los tipos de usuario van a ser distintos. Uno querrá una ayuda rápida porque
está atascado «Quiero poner algo en el aula virtual, cómo lo configuro», o algo
mucho más largo” (P2).
“Echo en falta una formación más específica o más de necesidades propias de
cada especialidad” (P4).
“El tipo de recursos está ligado al tipo de docencia que tienes entonces, una
formación por ámbitos podría resultar interesante. Resulta complejo tener
diferentes niveles, algunos lo encuentran muy fácil, otros muy difícil” (G1).

Efecto de la pandemia derivada de la Covid-19 en la percepción sobre la

CDD

Todas las personas entrevistadas manifiestan que la pandemia derivada de la

Covid-19 ha tenido una incidencia clara y notable en la docencia universitaria. En
relación con la CDD, todos estuvieron de acuerdo en que la pandemia generó una
necesidad urgente de incorporar herramientas digitales para continuar con las
clases de forma virtual. Al reflexionar respecto a las consecuencias derivadas de
esta circunstancia en el nivel de CDD del profesorado universitario, se encuentran
dos opiniones diferenciadas. Por un lado, algunos entrevistados sostienen que la
autopercepción habrá mejorado, como consecuencia del incremento en el uso de las
tecnologías tanto a nivel profesional como también personal.

“De repente se ha hecho en 3 meses lo que se iba a hacer en 3 años. Gente que
no tenía ni una webcam, ni había usado una, como la ha tenido que usar para
hablar con sus familiares, pues mira nos hemos digitalizado todos” (P2).
“Entre marzo y abril tuvimos que ponernos las pilas. Fue el momento de más
catarsis, «tengo que pasar a online, voy a ponerme las pilas» y no sé si eso pudo
de alguna manera afectar a la percepción que pudiera tener el profesorado en
su momento” (P4).
“Ha sido un proceso muy rápido, de unos meses, donde la gente ha asumido
muy rápido las oportunidades que tenía, porque no tenía más remedio. Eso ha

98 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 87-106.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 V. Viñoles-Cosentino; F. M. Esteve-Mon; M. Á. Llopis-Nebot; J. Adell-Segura
Validación de una plataforma de evaluación formativa de la competencia digital docente en tiempos de Covid-19

provocado un aumento de ciertas competencias, relativas al tema de recursos

digitales, muy rápida y de mucha gente” (T3).

Sin embargo, algunos entrevistados señalan que entrar en contacto súbito

con herramientas y situaciones desconocidas hasta ese momento, ha supuesto
una disminución de la autopercepción sobre la propia CDD, y postulan que ese
efecto puede haber sucedido igualmente en las personas que cumplimentaron el
cuestionario antes de la pandemia.

“Seguro que ha mejorado en muchos aspectos porque muchas veces lo que falta
es ponerse a utilizar las herramientas. Es lo que ha pasado en esta inmersión
que hemos tenido en la competencia digital, pero al ponerse a hacer cosas,
puede que hayan visto carencias en áreas determinadas, en competencias
más específicas. Entonces podría variar, se podrían ver más necesidades de
formación” (T1).
“En mi evaluación habré puesto todo altito, pero ahora no soy tan positivo. Hay
que bajar un poco el nivel, la digitalización se actualiza muy rápidamente y nos
quedamos obsoletos en un mes. Esta pandemia de la que hablamos parece que
sea de hace 20 años, estamos hablando de meses” (P7).
“Creo que ha supuesto un esfuerzo que no tenía que haber sido tanto si realmente
estuviéramos tan bien. Si a estas personas se lo volvieras a preguntar después
de esto cómo creen que están, sería curioso. Ahora me he dado cuenta que sé
hacer menos cosas, mi visión es que sabía menos de lo que pensaba” (G2).

Respecto a la incidencia en la formación digital del profesorado, según algunos

entrevistados, la situación creada por la pandemia puede haber incrementado el
interés formativo, ya sea de una manera voluntaria o forzada por la situación.

“La situación ha despertado un poco interés del profesorado de plantearse

las cosas de otra manera y de un interés por digitalizar otros aspectos que
hasta ahora íbamos a lo más tradicional o más la costumbre, ahora tenemos
que estar preparados a situaciones imprevistas y para ya, tienes que tener el
conocimiento para hacerlo” (P8).
“Se ha ampliado el perfil, mucha más gente que se ha visto con problemas para
organizar sus actividades habituales, para ver cómo organizaban un examen,
ver cómo se aclaraban con la docencia, tenían muchas dificultades” (T1).

En algunas de las entrevistas se pone en valor la importancia de la actitud

docente y el compromiso profesional como elementos clave para un adecuado
aprovechamiento de la formación.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 87-106.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 99
 V. Viñoles-Cosentino; F. M. Esteve-Mon; M. Á. Llopis-Nebot; J. Adell-Segura
Validación de una plataforma de evaluación formativa de la competencia digital docente en tiempos de Covid-19

“Un tema clave es la actitud hacia las nuevas tecnologías. Quien tenga una
actitud negativa previa se va a bloquear y por más horas de formación que le
demos no vamos a hacer más que bajar su autoeficacia profesional. Es lo que
he visto que pasó con esta crisis con los profesores” (G2).

Para concluir, algunos participantes reflexionan sobre la necesidad de incidir en

el cambio metodológico o pedagógico del uso de las TD, más allá del conocimiento
técnico.

“La parte que veo más complicada es la pedagogía, lo que hemos sufrido ahora
es más una pedagogía de emergencia que otra cosa, cada uno se ha acoplado
como ha podido. Ahí veo que habría que trabajar más” (T3).
“Si no humanizamos el espacio virtual no funciona, porque es aséptico, muy
frío. Normalizar el espacio, es digital pero no es digital, qué tipo de comunidad
quiero establecer a través de las pantallas” (P9).

DISCUSIÓN

En la última década, las universidades han revisado sus planes de digitalización,

apostando en algunos casos por la formación digital de la comunidad universitaria.
Este es el caso de la UJI, en la cual se desarrollaron dos portales vinculados a la
formación docente: (1) la plataforma de autoevaluación de la CDD; y (2) la plataforma
de recursos de formación digital. Este artículo se ha centrado en profundizar en
la percepción acerca del nivel de CDD, conocer la valoración de la herramienta
formativa, así como analizar la posible incidencia de la pandemia de la Covid-19 en
la CDD.
En relación con la primera pregunta de investigación, los participantes encuentran
que dichos resultados reflejan en gran medida la realidad de la universidad, con un
nivel medio de CDD, obteniendo valores más altos en las competencias profesionales
y más bajos en las pedagógicas y de empoderamiento de sus estudiantes. Sin
embargo, existen algunos puntos de discrepancia, centrados principalmente en la
sobreestimación de las puntuaciones. Esto coincide con investigaciones previas,
como la planteada por Esteve et al. (2016) quienes apuntan que, si bien la percepción
refleja una distribución competencial similar al desempeño real, puede tender a
obtener valores algo más altos.
Como línea futura de trabajo, sería interesante triangular los resultados con la
percepción del estudiantado sobre la CDD del profesorado, ya que puede brindar
información complementaria. En este sentido, los recientes resultados de la Cátedra
de Brecha Digital y Buen Uso de las TICs (2020) sobre la CD del estudiantado
valenciano, en el cual han participado más de 1700 estudiantes de la UJI, reflejan
la demanda del alumnado sobre la necesaria mejora de las capacidades digitales y
pedagógicas para la docencia en línea.

100 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 87-106.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 V. Viñoles-Cosentino; F. M. Esteve-Mon; M. Á. Llopis-Nebot; J. Adell-Segura
Validación de una plataforma de evaluación formativa de la competencia digital docente en tiempos de Covid-19

En cuanto a la segunda pregunta de investigación, la plataforma formativa

se valoró como muy útil, especialmente al estar vinculada con la herramienta de
evaluación diagnóstica previa. En este sentido, las sugerencias de mejora que
propusieron los participantes fueron: (1) la posibilidad de disponer de recursos
de autoformación asíncronos y abiertos; (2) la especificidad en el buscador para
localizar los cursos en función de las distintas áreas de conocimiento, así como la
estructura por niveles de complejidad; (3) la opción de disponer de un sistema de
valoración o recomendación de los recursos; (4) la visibilidad de la plataforma, lo
cual resulta esencial para una adecuada accesibilidad a los recursos formativos;
y (5) la posibilidad de interacción con otros usuarios, permitiendo a los docentes
intercambiar conocimientos y proponer temáticas formativas de su interés. Siguiendo
con los planteamientos de Plomp y Nieveen (2009), estas recomendaciones pueden
generalizarse, a modo de principios de diseño, para otras situaciones con un objetivo
similar, más allá del presente contexto.
Finalmente, en relación con la tercera pregunta de investigación, si bien los
participantes reconocen el esfuerzo realizado tanto por el profesorado como por
la propia institución, por mantener la docencia en línea durante este periodo, no
hay convencimiento generalizado de que esta situación haya incrementado la
percepción sobre la CDD, sino que en algunos casos puede haberse dado justo la
posibilidad contraria. Tras la situación vivida, el profesorado ha sido consciente de
todas las herramientas y posibilidades didácticas que previamente desconocía, y a
consecuencia de ello, su percepción sobre su CDD ha disminuido (Sánchez, 2020).
En este sentido, además de reiterar los efectos y limitaciones de las evaluaciones
basadas en la autopercepción anteriormente mencionados, sería necesario explorar
otros factores de carácter psicosocial, como la actitud hacia las TD (Fernández et al.,
2016), o tecnofobias asociadas al género (Castaño, 2008).
En cuanto a las limitaciones de esta investigación cabe destacar el número de
informantes participantes en el estudio. Si bien, en la selección se ha buscado la
representatividad, como remarca Tessmer (1993), las entrevistas pueden aportar
información relevante en la evaluación formativa de una intervención o recurso
concreto, pero resulta conveniente contar con un número representativo de
participantes que permita la triangulación de la información recogida. Al respecto se
propone para investigaciones futuras dar voz al estudiantado.
Más allá de las limitaciones expuestas, disponer de recursos tanto para la
evaluación de la CDD como para la formación digital, supone doble beneficio
al profesorado universitario. Por un lado, el proceso de autoevaluación, resulta
un elemento de metaformación que propicia la toma de conciencia sobre esta
competencia, sobre el metalenguaje que la rodea, y las carencias o necesidades en
torno a esta. La plataforma formativa por su parte, permite ir más allá del diagnóstico,
facilitando la superación de brechas digitales, centralizando la información y
simplificando su búsqueda, proporcionando recursos ajustados a cada necesidad.
En cuanto a la Universidad, este tipo de iniciativas ofrecen un gran potencial para

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 87-106.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 101
 V. Viñoles-Cosentino; F. M. Esteve-Mon; M. Á. Llopis-Nebot; J. Adell-Segura
Validación de una plataforma de evaluación formativa de la competencia digital docente en tiempos de Covid-19

redirigir sus políticas de formación docente, al obtener información respecto a la CDD

de su plantilla, que le permitirá establecer planes específicos de formación inicial y
continua del profesorado (Cabero-Almenara et al., 2020) así como tomar decisiones
informadas sobre el uso, adquisición o potenciación de recursos y herramientas
tecnológicas.

AGRADECIMIENTOS

La presente investigación se ha realizado con apoyo del Plan de Promoción de la

Investigación de la Universitat Jaume I (Ref.: UJI-A2018-09).

REFERENCIAS

Aalborg University. (2018). Knowledge for Castaño, C. (2008). La segunda brecha

the World. [Link] digital. Cátedra.
dk/digitalAssets/602/602501_040718_ Cátedra de Brecha Digital y Buen Uso de las
[Link] TICs. (2020). Análisis de las capacidades
Alarcón, R., del Pilar-Jiménez, E., y Vicente- digitales del estudiantado universitario
Yagüe, M. (2020). Development and valenciano. [Link]
validation of the DIGIGLO, a tool for Corbin, J., y Strauss, A. (2015). Basics of
assessing the digital competence of Qualitative Research: Techniques and
educators. British Journal of Educational Procedures for Developing Grounded
Technology. [Link] Theory. SAGE Publications, Inc.
bjet.12919 Drennan, J. (2003). Cognitive interviewing:
Athabasca University. (2018). RISE: Verbal data in the design and pretesting
Athabasca University’s Digital of questionnaires. Journal of Advanced
Transformation. [Link] Nursing, 42(1), 57-63. [Link]
[Link]/vice-president- org/10.1046/j.1365-2648.2003.02579.x
information-technology/_documents/ Durán, M., Gutiérrez, I., y Prendes, M.
[Link] (2016). Análisis conceptual de modelos
Cabero-Almenara, J., Gutiérrez-Castillo, de competencia digital del profesorado
J., Palacios-Rodríguez, A., y Barroso- universitario. RELATEC: Revista
Osuna, J. (2020). Development of the Latinoamericana de Tecnología
Teacher Digital Competence Validation Educativa, 15(1), 97-114.
of DigCompEdu Check-In Questionnaire Esteve, F., Cela, J., y Gisbert, M. (2016).
in the University Context of Andalusia ETeach3D: designing a 3D virtual
(Spain). Sustainability, 12(15), 6094. environment for evaluating the digital
[Link] competence of pre-service teachers.
Caena, F., y Redecker, C. (2019). Aligning Journal of Educational Computing
teacher competence frameworks to 21st Research, 54(6), 816-839. [Link]
century challenges: The case for the org/10.1177/0735633116637191
European Digital Competence Framework Esteve, F., Llopis, M., y Adell, J. (2020a).
for Educators (DigCompEdu). European Digital teaching competence of university
Journal of Education, 54(3), 1-14. https:// teachers: A systematic review of the
[Link]/10.1111/ejed.12345 literature. IEEE Revista Iberoamericana

102 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 87-106.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 V. Viñoles-Cosentino; F. M. Esteve-Mon; M. Á. Llopis-Nebot; J. Adell-Segura
Validación de una plataforma de evaluación formativa de la competencia digital docente en tiempos de Covid-19

de Tecnologías del Aprendizaje, 15(4), Krumsvik, R. (2012). Teacher educators’

399-406. [Link] digital competence. Scandinavian
RITA.2020.3033225 Journal of Educational Research, 58(3),
Esteve, F., Llopis, M., Viñoles, V., y Adell, 269-280. [Link]
J. (2020b). El profesorado universitario 831.2012.726273
en la sociedad digital. Diseño de López, C., Benedito, V., y León, M. (2016).
una plataforma de autoevaluación El Enfoque de Competencias en la
diagnóstica de su competencia digital Formación Universitaria y su Impacto en
docente. In XXIII Congreso Internacional la Evaluación. La Perspectiva de un Grupo
EDUTEC 2020. Universidad de Málaga. de Profesionales Expertos en Pedagogía.
[Link] Formación Universitaria, 9(4), 11-
Fernández, J. C., Fernández, M., y Cebreiro, 22. [Link]
B. (2016). Competencias en TIC del 50062016000400003
profesorado en Galicia: Variables que Llopis, M., Herrera, M., y Esteve, F. (2020).
inciden en las necesidades formativas. El profesorado universitario en la sociedad
Innovación educativa, 26. [Link] digital. Evaluación de su competencia
org/10.15304/ie.26.3256 digital docente. En Congreso Internacional
Fernández-Batanero, J., Montenegro-Rueda, Virtual USATIC, Aprendizaje con TIC.
M., Fernández-Cerero, J., y García- Universidad de Zaragoza. [Link]
Martínez, I. (2020). Digital competences [Link]/record/95693
for teacher professional development. Marín, V., Vázquez, A., Llorente, M., y
Systematic review. European Journal of Cabero, J. (2012). La alfabetización digital
Teacher Education, 1-19. [Link] del docente universitario en el espacio
10.1080/02619768.2020.1827389 europeo de educación superior. Edutec.
Gisbert, M., González, J., y Esteve, F. (2016). Revista Electrónica de Tecnología
Competencia digital y competencia Educativa, 39. [Link]
digital docente: una panorámica edutec.2012.39.377
sobre el estado de la cuestión. Revista Marinoni, G., Land H., y Jensen, T. (2020).
Interuniversitaria de Investigación en The Impact of Covid-19 on Higher
Tecnología Educativa, 0, 74-83. https:// Education around the world: IAU Global
[Link]/10.6018/riite2016/257631 Survey Report. International Association
Halász, G. (2019). Designing and of Universities [Link]
implementing teacher policies using IMG/pdf/iau_covid19_and_he_survey_
competence frameworks as an integrative report_final_may_2020.pdf
policy tool. European Journal of Marshall, S. (2018). Shaping the University
Education, ejed.12349. [Link] of the Future. Springer Singapore. https://
org/10.1111/ejed.12349 [Link]/10.1007/978-981-10-7620-6
Hall, R., Atkins, L., y Fraser, J. (2014). Mercader, C., y Gairín, J. (2020). University
Defining a self-evaluation digital literacy teachers’ perception of barriers to the use
framework for secondary educators: The of digital technologies: the importance
Digilit Leicester project. Research in of academic discipline. International
Learning Technology, 22. [Link] Journal of Educational Technology in
org/10.3402/rlt.v22.21440 Higher Education, 17(4), 1-14. https://
Ion, G., y Cano, E. (2012). La formación [Link]/10.1186/s41239-020-0182-x
del profesorado universitario para la Orozco, G., Cabezas, M., Martínez,
implementación de la evaluación por F., Delgado, J., y Solís, M. (2016).
competencias. Educación XX1, 15(2). Determining factors in acceptance of ICT
[Link] by the University faculty in their teaching

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 87-106.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 103
 V. Viñoles-Cosentino; F. M. Esteve-Mon; M. Á. Llopis-Nebot; J. Adell-Segura
Validación de una plataforma de evaluación formativa de la competencia digital docente en tiempos de Covid-19

practice. ACM International Conference Sánchez, J. (2020). Intervención en línea

Proceeding Series, 02-04-November-2016 para el aumento de la autoeficacia en
(pp. 139-146). [Link] habilidades docentes por internet ante la
org/10.1145/3012430.3012509 contingencia del covid-19. Enseñanza &
Pettersson, F. (2018). On the issues of digital Teaching, 38, 1-2020, 125-145. https://
competence in educational contexts [Link]/10.14201/et2020381125145
a review of literature. Education and Teddlie, C., y Yu, F. (2007). Mixed
Information Technologies, 23(3), 1005- methods sampling: A typology with
1021. [Link] examples. Journal of Mixed Methods
017-9649-3 Research, 1(1), 77-100. [Link]
Plomp, T., y Nieveen, N. (2009). An org/10.1177/1558689806292430
introduction to educational design Tessmer, M. (1993). Planning and
research. Netherlands Institute for conducting formative evaluations:
curriculum development (SLO). Improving the quality of education and
Pozos, K., y Tejada, J. (2018). Competencias training. Kogan Page.
Digitales en Docentes de Educación Tourón, J., Martín, D., Navarro Asensio, E.,
Superior: Niveles de Dominio y Pradas, S., e Íñigo, V. (2018). Validación
Necesidades Formativas. Revista de constructo de un instrumento para
Digital de Investigación en Docencia medir la competencia digital docente de
Universitaria, 12(2), 59-87. [Link] los profesores (CDD). Revista Española
org/10.19083/ridu.2018.712 de Pedagogía, 76(269), 25‑54. https://
Rangel, A., y Peñalosa, E. A. (2013). [Link]/10.22550/REP76‑1‑2018‑02
Alfabetización digital en docentes de Universitat Jaume I. (2020). Plan UJI Digi-
Educación Superior. Construcción y tal. [Link]
prueba empírica de un instrumento de rage/RQW7SHVBKRFYLYMSRJOCJIM-
evaluación. Pixel-Bit-Revista de Medios M7KZBQR3A
y Educación, 43, 9-23. [Link] Université Catholique de Louvain. (2015).
org/10.12795/pixelbit.2013.i43.01 Digital strategy at UCLouvain: openness
Redecker, C., y Punie, Y. (2017). European matters. [Link]
Framework for the Digital Competence boreal/object/boreal:195896
of Educators. DigCompEdu. European Université de Genève. (2019). Digital
Commission, Joint Research Centre Strategy Action Plan. https://
(JRC). [Link]/numerique/
Rodríguez-Gómez, G., Gil-Flores, J., y files/2115/4754/2835/15012019_-_
García-Jiménez, E. (1999). Metodología Plan_daction.pdf
de la investigación cualitativa. Ediciones University of Auckland. (2018). Digital
Aljibe. Strategy 2018-2020. [Link]
Ruè, D. (2015). El desarrollo profesional [Link]/assets/auckland/about-
docente en Educación Superior: us/the-university/official-publications/
agenda, referentes y propuestas para su other-publications/digital-strategy-
adopción. REDU. Revista de Docencia [Link]
Universitaria, 2015, 13, 217-236. https:// University of Bergen. (2016).
[Link]/10.4995/redu.2015.5461 Digitalisation that shapes society.
Saldaña, J. (2015). The Coding Manual for [Link]
Qualitative Researchers. Third Edition. digitaliseringsstrategi_2016-22_ENG.pdf
SAGE Publications Ltd.

104 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 87-106.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 V. Viñoles-Cosentino; F. M. Esteve-Mon; M. Á. Llopis-Nebot; J. Adell-Segura
Validación de una plataforma de evaluación formativa de la competencia digital docente en tiempos de Covid-19

PERFIL ACADÉMICO Y PROFESIONAL DE LOS AUTORES

Virginia Viñoles-Cosentino es doctoranda en Educación por la Universitat

Jaume I, desarrolla su investigación en el grupo GREAT (Enseñanza, Aprendizaje y
Tecnología) y Grupo EDUBOT (Innovación en Robótica Educativa y Pensamiento
Computacional). Licenciada en Psicología, Postgrado en Digital Learning y Máster en
Psicología de las Organizaciones. Experiencia en gestión de cambio en proyectos de
transformación digital en el sector público y privado. Sus intereses de investigación
se centran en: competencias digitales, formación docente, tecnología educativa.
[Link]
E-mail: vvinoles@[Link]

Francesc M. Esteve-Mon es comisionado de la rectora para la coordinación

del gabinete y el impulse digital, y profesor Ayudante Doctor en el Departamento
de Pedagogía de la Universitat Jaume I, España. Centra su docencia en el grado
de Educación Infantil. Diplomado en Magisterio, Licenciado en Psicopedagogía,
y Máster y Doctor en Tecnología Educativa. Miembro del grupo de investigación
en Enseñanza, Aprendizaje y Tecnología (GREAT), desarrolla su investigación en
competencia digital, formación docente, e investigación-basada en el diseño. https://
[Link]/0000-0003-4884-1485
E-mail: festeve@[Link]

María Ángeles Llopis-Nebot es profesora Asociada en el Departamento de

Pedagogía de la Universitat Jaume I, España. Centra su docencia en el grado de
Educación Infantil y coordina las estancias de prácticas. Doctora en Educación por
la Universitat Jaume I, desarrolla su investigación en el grupo GREAT (Enseñanza,
Aprendizaje y Tecnología) y EDUBOT (Grupo de Innovación en Robótica Educativa
y Pensamiento Computacional). Sus intereses de investigación se centran en el
pensamiento reflexivo y computacional, y en la competencia digital. [Link]
org/0000-0002-9192-7076
E-mail: mllopis@[Link]

Jordi Adell-Segura es director del Centro de Educación y Nuevas Tecnologías

(CENT) y profesor Titular en el Departamento de Pedagogía de la Universitat Jaume
I, España. Doctor en Filosofía y Ciencias de la Educación, es el coordinador del
grupo de investigación en Enseñanza, Aprendizaje y Tecnología (GREAT). Centra
su docencia e investigación en tecnología educativa. Ha participado en diferentes
paneles y comités asesores en Tecnología y Educación. [Link]
0003-4369-6485
E-mail: jordi@[Link]

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 87-106.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 105
 V. Viñoles-Cosentino; F. M. Esteve-Mon; M. Á. Llopis-Nebot; J. Adell-Segura
Validación de una plataforma de evaluación formativa de la competencia digital docente en tiempos de Covid-19

DIRECCIÓN DE LOS AUTORES

Universitat Jaume I
Av Sos Baynat, s/n 12071
Castelló de la Plana
España

Fecha de recepción del artículo: 14/12/2020

Fecha de aceptación del artículo: 02/02/2021
Fecha de aprobación para maquetación: 10/02/2021

106 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 87-106.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
I.S.S.N.: 1138-2783

Procesos de feedback para fomentar la

autorregulación con soporte tecnológico en
la educación superior: Revisión sistemática
(Self-Regulated Feedback Processes Enhanced by
Technology in Higher Education: a Systematic Review)

Begoña Gros Salvat

Elena Cano García
Universidad de Barcelona (España)

DOI: [Link]

Cómo referenciar este artículo:

Gros Salvat, B., y Cano García, E. (2021). Procesos de feedback para fomentar
la autorregulación con soporte tecnológico en la educación superior: Revisión
sistemática. RIED. Revista Iberoamericana de Educación a Distancia, 24(2),
pp. 107-125. [Link]

Resumen

El desarrollo del aprendizaje autorregulado en educación superior puede darse a través

del fomento del juicio evaluativo, el cual, a su vez, puede adquirirse mediante procesos
de evaluación entre iguales o de autoevaluación en los que se proporcione un feedback
proporcionando andamiaje a los componentes cognitivos, metacognitivos y afectivos de la
autorregulación. La tecnología puede suponer un valor añadido en dicho proceso. Sin embargo,
la literatura parece apuntar usos de la tecnología más instrumentales que favorecedores de la
autorregulación. En el presente artículo se presentan los resultados de un proceso de revisión
sistemática sobre las aportaciones recientes que la bibliografía de referencia realiza en torno
al rol de la tecnología para soportar el feedback. Los hallazgos muestran que, pese al aumento
de aplicaciones y posibilidades técnicas que ofrecen las tecnologías digitales, el uso que se le
da sigue estando vinculado a la gestión y almacenamiento de los datos, a la rapidez y facilidad
de la calificación o, en algunos casos, al aumento de la motivación de los estudiantes. Sin
embargo, los beneficios del uso de la tecnología en términos de los procesos de aprendizaje
autorregulado que dichas tecnologías podrían reportar con un uso activo de los estudiantes
siguen siendo todavía un campo pendiente para la investigación.

Palabras clave: aprendizaje autorregulado; educación superior; tecnologías de la información

y de la comunicación; retroalimentación.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 107-125.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 107
 B. Gros Salvat; E. Cano García
Procesos de feedback para fomentar la autorregulación con soporte tecnológico en la educación superior: Revisión sistemática

Abstract

Self-regulated learning in higher education can be developed through the promotion

of evaluative judgment which can be acquired through peer evaluation or self-evaluation
processes. In these processes feedback must be provided for scaffolding the cognitive,
metacognitive and affective components of self-regulation. Technology can add value to this
process. However, the literature seems to state an instrumental use of technology more than
a use helpful for self-regulated learning. This paper presents the results of a systematic review
process on the recent contributions regarding the role of technology to support feedback. The
findings show that, despite the increase in software and technical possibilities offered by new
digital technologies, the use that is given to current digital technologies continues to be linked
to the management and storage of data, the speed and ease of data processing. qualification or,
in some cases, increasing student motivation. However, the benefits of the use of technology
in terms of the self-regulated learning processes that such technologies could bring about with
an active use of students is still a pending field for research.

Keywords: self-regulated learning; higher education; information and communication

technologies; feedback.

La presencia de las tecnologías digitales en los procesos de enseñanza se ha

venido incrementando en los últimos años (EACEA, 2019; EDUCAUSE 2020)
y se ha extendido masivamente como consecuencia de la COVID-19 (UNESCO,
2020). Los beneficios del empleo de las tecnologías digitales en la enseñanza están
profusamente documentados (Gros y Suárez, 2016). También ha sido sobradamente
analizada la utilidad de la tecnología para la evaluación y el feedback (Rodríguez e
Ibarra, 2011; Gikandi y Morrow, 2014; Barberà, 2016). Sin embargo, los modelos
pedagógicos de evaluación y la concepción de feedback en la que se inscribe el uso
de la tecnología son, muy usualmente, diseños tradicionales con escasa participación
del estudiante. El cambio hacia un nuevo paradigma en el que el estudiante sea el
protagonista y responsable de autorregular su aprendizaje tomando parte en los
procesos de evaluación y feedback mediante el desarrollo del juicio evaluativo parece
estar progresando. Desde esta perspectiva, la tecnología supera algunas funciones
tradicionales (facilitar la gestión de información, automatizar procesos de calificación,
acelerar la obtención de respuestas correctas o generar mensajes automáticos para
proveer feedback) para pasar a tener otro papel. Su rol ha de ser el de dar soporte a
la actividad del estudiante para representarse una tarea, comprender los criterios de
evaluación (y participar en el establecimiento de los mismos), monitorear su propio
progreso, ser más consciente de los procesos que realiza y de cómo puede modificarlos
y reflexionar sobre la calidad de sus producciones. Algunas aportaciones recientes
(Bennett et al., 2017; Cubero et al., 2018; Broadbent et al., 2020) constituyen
referentes valiosos para promover este cambio, pero quizá el discurso teórico va por
delante de las prácticas que se están realizando en la actualidad. Por este motivo el

108 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 107-125.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 B. Gros Salvat; E. Cano García
Procesos de feedback para fomentar la autorregulación con soporte tecnológico en la educación superior: Revisión sistemática

objetivo de este trabajo es analizar la contribución de las tecnologías digitales en los

procesos de feedback autorregulador en la educación superior.

ANTECEDENTES

La evaluación es un elemento clave para lograr un aprendizaje efectivo, puesto

que orienta el aprendizaje. Es el denominado “efecto retroceso” que Biggs y Tang
(2003) han documentado para aludir al impacto que la evaluación posee en tanto
que los estudiantes plantean una lógica inversa a la del profesor. Mientras que este
parte de los objetivos, diseña actividades y finalmente planifica la evaluación, los
estudiantes parten de la evaluación, luego enfrentan las tareas que van a tener que
realizar y finalmente, los resultados/objetivos a los que se llega.
En los últimos años numerosos autores han documentado la importancia de
la evaluación en los procesos de aprendizaje en educación superior. Se ha pasado
de focalizar la mirada en la finalidad acreditativa de este proceso (evaluación del
aprendizaje) a enfatizar la dimensión formativa de los procesos de evaluación
(evaluación para el aprendizaje, recogiendo toda la literatura relativa al AfL,
Assessment for Learning) (Stiggins, 2005).
Esta evaluación formativa tiene que inscribirse en el marco de un proceso de
evaluación continua para que las valoraciones acerca de la calidad de las respuestas
del estudiante (actuaciones, ejercicios o trabajos) puedan ser utilizadas (Black y
Wiliam, 1998) durante el proceso para mejorar no solo la tarea final sino el propio
proceso de aprendizaje. Para ello ha de proveerse un feedback. Al principio se
consideraba que el modo en que el docente estructuraba el feedback era el mejor
modo de evitar que los estudiantes aprendiesen por ensayo y error. También se
consideraba y continúa siendo muy relevante reflexionar acerca de la estructuración,
temporización, contenido y soporte del feedback en cada contexto. Es lo que Black
y Wiliam (1998) denominaron “constelaciones” haciendo referencia a todas las
posibles decisiones acerca del feedback en virtud de las respuestas que se den a
quién, cómo, cuándo, con qué y para qué lo provee. Sin embargo, con el tiempo, este
proceso de orientación por parte exclusivamente del profesor ha sido superado por
visiones en los que el estudiante tiene un rol más activo. Los modos de concebir el
feedback han ido variando y la responsabilidad del mismo ha ido basculando hacia
un mayor protagonismo de los estudiantes.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 107-125.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 109
 B. Gros Salvat; E. Cano García
Procesos de feedback para fomentar la autorregulación con soporte tecnológico en la educación superior: Revisión sistemática

Tabla 1
Modos de concebir la retroalimentación o feedback

Fuente: Cano, Pons y Lluch (2020, p. 5).

Así pues, la evaluación formativa ha de ser necesariamente participada por

el estudiante. Boud ha indicado reiteradamente la necesidad de que el estudiante
sea el responsable de su propio aprendizaje y de su propia evaluación y demuestre
capacidad para juzgar la calidad de su propio trabajo y el trabajo de los otros. Es lo
que en principio denominó evaluación sostenible (Boud, 2000) y que últimamente
se ha venido denominado juicio evaluativo (Panadero et al., 2018; Tai et al., 2018),
entendido como:

La capacidad de tomar decisiones sobre la calidad del propio trabajo y del de los
demás e indican que incluye tanto comprender en qué consiste la calidad de una tarea
o proceso (conociendo muy bien los criterios y/o procedimientos a desarrollar), como
aplicar esta comprensión en la valoración de una tarea, ya sea la propia o de otra
persona. (Tai et al., 2018, p. 472)

El juicio evaluativo, entendido de este modo, puede contribuir al aprendizaje

autorregulado (control que el sujeto realiza sobre sus pensamientos, acciones,
emociones y motivación, a través de estrategias personales) y al desarrollo de la
competencia de aprender a aprender.

110 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 107-125.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 B. Gros Salvat; E. Cano García
Procesos de feedback para fomentar la autorregulación con soporte tecnológico en la educación superior: Revisión sistemática

Como ya ha sido indicado (Lluch et al., 2020), a partir de las aportaciones de

Zimmerman (1986), Pintrich (2000) y Boekaerts y Corno (2005), los procesos de
autorregulación poseen una triple dimensión: cognitiva, metacognitiva y emocional.
Las fases cíclicas del aprendizaje autorregulado de Zimmerman (1986) poseen
claros paralelismos con las fases del feedback. En la fase de planificación se procede a
un análisis de la tarea, se establecen metas, se procede a una planificación estratégica
para optimizar el propio rendimiento durante el aprendizaje, seleccionando las
estrategias de aprendizaje. En la fase de realización se desarrollan los procesos
de aprendizaje en paralelo a la supervisión de la consecución de los objetivos
mediante estrategias de autocontrol (que permiten centrarse en la tarea y optimizar
el esfuerzo, explicitando los pasos a emprender) y estrategias de auto-observación
mediante las cuales el estudiante revisa su propio rendimiento. En la tercera fase,
la de autorreflexión se producen juicios escolares con los que se valora el propio
rendimiento y se realizan atribuciones causales, y auto-reacciones que promueven
las creencias positivas del alumno acerca de sí mismo, lo que lleva a incrementar su
percepción de autoeficacia.
El papel de la evaluación en los procesos de autorregulación ha sido sobradamente
analizado (Boud, 2000; Tai et al. 2018). La participación en los procesos de
evaluación fomenta el desarrollo del juicio evaluativo y la autorregulación (Panadero
et al., 2019). Sin embargo, ello no se da sin una planificación explícita. Por ello, es
necesario secuenciar y apoyar el proceso de aprendizaje. La evaluación entre iguales
ha sido señalada como un estadio intermedio entre la evaluación del docente y
la autoevaluación que permite promover el desarrollo del juicio evaluativo y la
autorregulación (Tai et al., 2018). Ayuda al estudiante a apropiarse y aplicar los
criterios de evaluación y a analizar de qué manera estos han sido considerados en la
resolución de la tarea del igual, lo que redunda tanto en la mejora de la propia tarea
como del proceso de aprendizaje. Ello ha sido referido por Sanmartí (2010), quien
recuerda la necesidad de: (a) Identificar, reflexionar y compartir los objetivos de la
actividad; (b) Anticipar y planificar la acción para realizar la tarea y (c) Compartir los
criterios de evaluación. La cuestión es si puede la tecnología aportar un valor añadido
a los procesos de feedback que permitan tanto el feed-up (representarse la tarea y
saber hacia dónde se va), como el feed-back (monitorear el proceso) y, finalmente
el feed-forward (cómo transferir estos aprendizajes a futuras tareas, asignaturas o
actividades profesionales). Ahí reside el reto de la tecnología: en soportar y promover
este tipo de procesos, a partir de un rol activo del estudiante, más que en contribuir
al almacenamiento y gestión de datos.
Todos estos procesos pueden recibir el soporte de la tecnología. Sin embargo,
Bhagat y Spector (2017) citan a Bennett y Gitomer (2009), quienes enumeraron
algunos de los beneficios importantes del uso de la tecnología, señalando que ésta
es: (a) más informativa, en tanto que puede ayudar a rastrear el registro completo
del proceso de resolución de problemas adaptado por el alumno; (b) más eficiente,

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 107-125.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 111
 B. Gros Salvat; E. Cano García
Procesos de feedback para fomentar la autorregulación con soporte tecnológico en la educación superior: Revisión sistemática

puesto que ahorra tiempo para puntuar y permite hacerlo sin errores; y (c) más
rentable, en el sentido de que ahorra los gastos del proceso de calificación humana.

Tabla 2
Procesos en los que la tecnología contribuye a la retroalimentación

Fuente: Deenen y Munshi (2018, p. 115)

Deneen y Munshi (2018) recogen las tres principales finalidades de los procesos
en los que el feedback es proporcionado con tecnologías digitales: (1) Recoger y
almacenar información del estudiante; (2) Transformar esa información en un
mensaje de feedback y (3) Comunicar el feedback a los estudiantes, intentando
aumentar su motivación. Pese a la utilidad de la tecnología, parecería necesario
superar estas finalidades y añadir una cuarta, vinculada a la contribución de

112 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 107-125.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 B. Gros Salvat; E. Cano García
Procesos de feedback para fomentar la autorregulación con soporte tecnológico en la educación superior: Revisión sistemática

la tecnología al aprendizaje autorregulado en la línea que Benett et al. (2017) o

Broadbent et al. (2020) sugieren y que da lugar al estudio que se presenta con el
objetivo de identificar si las propuestas tecnológicas existentes responden a un uso
tradicional del feedback o se emplean para apoyar las diversas fases de planificación,
realización y autorreflexión del aprendizaje autorregulado.

METODOLOGÍA

Se ha llevado a cabo una revisión sistemática de la literatura, entendida como

un tipo de estudio que ayuda a identificar, evaluar e interpretar la investigación
disponible relacionada con un área temática (Kitchenham y Charters, 2007). Para
analizar los artículos de manera rigurosa, se estableció un protocolo de análisis
con las siguientes fases: 1) Preguntas de investigación; 2) Proceso de búsqueda; 3)
Criterios de inclusión y exclusión; 4) Proceso de selección y extracción de datos; 5)
Síntesis de datos (Ramírez y Lugo, 2020).
Fase 1: Preguntas de investigación. Con el objetivo de analizar el papel de la
tecnología para el apoyo del aprendizaje autorregulado se plantearon preguntas de
investigación para localizar los artículos relativos a los hallazgos del papel de las
tecnologías digitales en los procesos de feedback.
Fase 2: Proceso de búsqueda. El protocolo de búsqueda de los artículos integró
los procesos electrónicos en las bases de datos Scopus y Web of Science (WoS),
delimitando las palabras clave (feedback, feedbak literacy, formative assessment),
el idioma (inglés), el período temporal (2015-2020) y el tipo de documento (artículo).
El resultado fue de 804 artículos, de los cuales se eliminaron los artículos repetidos
quedando un total de 621.
Fase 3: Criterios de inclusión y exclusión de los artículos. Se excluyeron:

A. Aquellos que no fuesen de educación superior.

B. Aquellos que fuesen más cercanos a procesos de elaboración, diseño, validación
de instrumentos.
C. Aquellos que fuesen de campos de conocimiento específicos (medicina, biología,
física, etc.) y que contuviesen un término relativo a dicho campo de conocimiento
en el título (exceptuando el campo de educación o enseñanza).

Aquellos que, pese a pertenecer a la selección inicial, no aportaban información

relevante al objeto de estudio, como los relativos a temas de mayor amplitud,
vinculados a la política educativa, o a temas muy específicos (como un programa de
mejora de la sostenibilidad) donde el feedback no era el elemento central.
Con ello se pretendió mantener únicamente los artículos genéricos. Quedaron
346 documentos. Finalmente se seleccionaron únicamente aquellos que incluyesen
technology o technologies en el título, arrojando un resultado de 15 documentos, que
aparecen en la Tabla 2.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 107-125.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 113
 B. Gros Salvat; E. Cano García
Procesos de feedback para fomentar la autorregulación con soporte tecnológico en la educación superior: Revisión sistemática

Fase 4: Proceso de selección y extracción de datos. Se buscó sistematizar

información en torno a los siguientes campos: 1) Objetivo; 2) Contexto; 3) Principales
aportaciones del marco teórico; 4) Breve descripción de la experiencia y resultados;
5) Uso que se hace de la tecnología para la provisión del feedback; 6) Rol que tiene el
estudiante en el empleo de la tecnología y 7) Herramientas tecnológicas que emplea.
Fase 5: Síntesis de datos. Para sintetizar las contribuciones de cada artículo se
procedió a una lectura atenta y a una sistematización de las principales aportaciones
en torno a los 7 campos determinados dispuestos en columnas en un documento
Excel on line.

Figura 1
Diagrama de flujo del proceso de selección de textos para la revisión sistemática

114 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 107-125.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 B. Gros Salvat; E. Cano García
Procesos de feedback para fomentar la autorregulación con soporte tecnológico en la educación superior: Revisión sistemática

El hecho de iniciar la búsqueda sin incluir explícitamente el término tecnología

obedeció al enfoque del estudio, cuyo interés no estaba en analizar instrumentos o el
empleo instrumental de la tecnología sino en los beneficios que los procesos feedback
participados por el estudiante pueden generar sobre el aprendizaje autorregulado.
De ahí que se iniciase la búsqueda con términos exclusivamente vinculados a la
alfabetización acerca del feedback y la evaluación formativa y sólo en la fase 4 se
seleccionasen los vinculados a la tecnología. Este procedimiento generó un sesgo
respecto a los documentos finalmente analizados que se asume como limitación del
presente estudio.

RESULTADOS

Tal y como se muestra en la Tabla 3, hemos agrupado los trabajos seleccionados

en dos grupos: los que presentan una revisión sistemática sobre el tema o realizan
una revisión teórica y los que presentan propuestas concretas del uso de la tecnología
para la mejora del feedback.

Tabla 3
Estudios sobre uso de la tecnología en procesos de feedback

Fuente: Elaboración propia

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 107-125.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 115
 B. Gros Salvat; E. Cano García
Procesos de feedback para fomentar la autorregulación con soporte tecnológico en la educación superior: Revisión sistemática

Seis de los trabajos seleccionados hacen una extensa revisión y discusión de la

literatura sobre las características más apropiadas que deben tener las herramientas
tecnológicas para mejorar los procesos de evaluación. García-Jiménez (2015) realiza
un trabajo muy completo en el que se presenta una revisión sobre la evaluación
centrada en la información que se proporciona a los estudiantes universitarios a
partir del análisis de sus resultados de aprendizaje y la relación entre el modo en
que las tecnologías digitales se pueden usar para facilitar que dicha información
se utilice para mejorar los aprendizajes. El trabajo contempla diferentes formas de
participación de los estudiantes en la evaluación (coevaluación, evaluación entre
iguales y autoevaluación) y sus consecuencias en el análisis y aprovechamiento de
los resultados de la evaluación. En cuanto a los beneficios de las tecnologías en los
procesos de evaluación se indica que aportan inmediatez y mayor precisión de la
información que se proporciona. Respecto a los usos de las tecnologías, señala que
“se utilizan para el registro y almacenamiento del desempeño y posterior análisis y
revisión, para presentar modelos de trabajos bien hechos o para enviar información
u orientaciones sobre una tarea” (García-Jiménez, 2015, p. 18).
Spector et al. (2016) analizan los problemas actuales de la evaluación formativa
y consideran que las tecnologías disponibles pueden ayudar a desarrollar nuevas
prácticas relacionadas con el pensamiento crítico y la resolución de problemas
complejos. Consideran que las tendencias y retos más importantes en las
evaluaciones formativas mediadas por la tecnología digital son las siguientes: (a)
el andamiaje, que es una parte importante del feedback formativo que puede ser
apoyado por tecnologías basadas en tutores inteligentes, agentes pedagógicos; (b) las
herramientas para apoyar el aprendizaje basado en problemas como, por ejemplo,
los portafolios digitales y (c) la evaluación adaptativa que permite ofrecer feedback
personalizado entre estudiantes.
En una línea similar, Robertson et al. (2019) a partir de una revisión bibliográfica
crean una lista de las características principales que deben proporcionar las
herramientas tecnológicas para apoyar la evaluación y el feedback, entre las que
destacan: (a) la inmediatez; (b) la posibilidad de realizar comentarios elaborados
del profesorado; (c) la posibilidad de incluir comentarios personalizados de los
estudiantes; (d) la posibilidad de reutilización; (e) la accesibilidad; (f) el diseño de
la interfaz; (g) la interacción y (h) el coste. Con todo ello generan un instrumento de
revisión de objetos de aprendizaje (LORI) compuesto de 9 criterios de cumplimiento
de los estándares: reutilización, accesibilidad, usabilidad de la interacción, diseño
de la presentación, motivación, retroalimentación y adaptación, alineación de los
objetivos de aprendizaje y calidad del contenido.
Yuan y Kim (2016) también realizan una revisión sistemática y concluyen
que la eficacia no depende de la tecnología sino del diseño del feedback, que es
lo que maximiza las posibilidades de la tecnología en aras a un rol más activo del
estudiante. Respecto a la calidad del feedback, esta depende tanto del contenido (que
sea específico y que informe acerca de cómo hacer mejoras); como del timming (que

116 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 107-125.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 B. Gros Salvat; E. Cano García
Procesos de feedback para fomentar la autorregulación con soporte tecnológico en la educación superior: Revisión sistemática

sea cercano) y del diálogo que puede generar (los estudiantes tienen que comprender
la retroalimentación para usarla). La tecnología debería contribuir a todo ello. Por
otra parte, respecto al rol, cuando los estudiantes brindan retroalimentación a sus
compañeros, aumenta su participación en las tareas de aprendizaje y desarrollan
una mejor comprensión de los criterios de evaluación, pudiendo diagnosticar
problemas con su propio trabajo e idear propuestas para mejorar. En este sentido,
Yuan y Kim (2016) parten del supuesto de que la retroalimentación es ineficaz a
menos que los estudiantes actúen en consecuencia. Para tomar decisiones más
informadas es conveniente que les llegue información de diversas fuentes y que
puedan establecerse canales de comunicación. Sin embargo, las oportunidades para
la retroalimentación múltiple y la comunicación adicional sobre la retroalimentación
son limitadas en los cursos en línea debido a las dificultades para interactuar entre
instructores y estudiantes, así como entre estudiantes. Por ello, proporcionar
comentarios efectivos es un desafío en los entornos en línea porque los estudiantes
pueden ignorar fácilmente los mensajes de los instructores que se encuentran
entre una gran cantidad de otros comentarios y materiales en línea. Asimismo,
también es un desafío para los instructores alentar a los estudiantes a proporcionar
retroalimentación de sus compañeros debido a las dificultades de interacción entre
los estudiantes. Por ello consideran que las tecnologías se pueden usar para mejorar
la efectividad de la retroalimentación en los cursos en línea.
Raposo y Cebrián (2019) también señalan la importancia de las tecnologías
digitales para mejorar los procesos de evaluación diagnóstica, sumativa y formativa,
así como para personalizar la enseñanza, comunicar y reflexionar sobre lo aprendido.
Las tecnologías digitales permiten que la retroalimentación sea más interactiva
e instantánea lo que facilita el desarrollo de la formación on-line. En este trabajo
se insiste en la necesidad de desarrollar tecnologías que no sólo se focalicen en el
feedback del profesorado sino también en la autoevaluación y la evaluación por
pares. Entre las múltiples tecnologías que pueden utilizarse se destacan: (a) los
portafolios digitales; (b) las rúbricas electrónicas; (c) los sistemas de anotaciones
multimedia que permiten realizar anotaciones sobre videos e imágenes y (d) el uso
de blockchain para generar itinerarios de aprendizaje individualizados.
Entre los trabajos que presentan propuestas tecnológicas para mejorar el
feedback hay bastante diversidad sobre las tecnologías utilizadas y también sobre la
intencionalidad pedagógica. En algunos casos, se focaliza el uso del feedback sobre la
comprensión de una tarea. Por ejemplo, Robertson et al. (2019) realizan un estudio
con 286 estudiantes de Estados Unidos con el fin de reportar los efectos del uso
de Socrative sobre la participación de los estudiantes, las calificaciones, el tiempo
transcurrido entre la prueba y el feedback y el tiempo dedicado por el profesorado a
la calificación. El uso de esta tecnología reporta beneficios en términos de motivación
y participación de los estudiantes. El tiempo también parece ser relevante, tanto en
términos de la inmediatez que las herramientas tecnológicas, en este caso Socrative,
pueden aportar como en el ahorro de tiempo de calificación por parte del profesorado.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 107-125.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 117
 B. Gros Salvat; E. Cano García
Procesos de feedback para fomentar la autorregulación con soporte tecnológico en la educación superior: Revisión sistemática

Sin embargo, el análisis mediante t de Student para muestras independientes no

muestra diferencias en la puntuación de los alumnos que usan Socrative. El estudio
concluye que la herramienta empleada puede ayudar a los estudiantes a prepararse
para la evaluación sumativa, con lo que la noción que hay tras su empleo parece ser
instrumental y no constituir un fin en sí mismo que contribuya al desarrollo ni de
competencias digitales ni de la competencia de aprender a aprender.
García López y García Mazarío, (2016) analizan la experiencia de combinar en
un curso de matemáticas, cuestionarios de autoevaluación en Moodle con la creación
de una comunidad de aprendizaje en línea para facilitar la evaluación por pares.
Los resultados son positivos, pero señalan que es difícil utilizar diferentes entornos
de comunicación si no están bien integrados. El mantenimiento por separado del
entorno Moodle y la red social en línea complica el trabajo y obliga a los involucrados
a utilizar diferentes espacios de trabajo.
En una línea diferente, Van der Kleij et al. (2015) analizan el uso del video-
feedback. Diseñan e implementan un estudio en el que registran conversaciones de
feedback en 6 parejas de docente y estudiante. Tras grabar el vídeo, el docente y el
estudiante por separado participan en unas entrevistas con “video-stimulated recall
(VSR)”, desarrollando reflexiones que son registradas. Los participantes paran el
video en los puntos que ellos consideran relevantes y los comentan. La finalidad
era comprender las interpretaciones del feedback por parte de los docentes y los
estudiantes y los aspectos que consideraban importantes y válidos de la conversación.
Los docentes y los estudiantes reportan comprensiones diferentes sobre la naturaleza
del significado de los componentes del proceso de feedback. Este estudio apunta
que el uso de video-feedback puede ayudar a los estudiantes a reflexionar sobre el
contenido de las respuestas recibidas identificando qué contenido deben aprender
y qué estrategias deben aplicar. Asimismo, el video-feedback puede ayudar a los
docentes a reflexionar sobre los procesos de feedback que llevan a la práctica. En
concreto el VSR puede tener el potencial de ayudar a los estudiantes a reflexionar
sobre el feedback.
Santamaría et al. (2018) realizan una intervención consistente en dar
retroalimentación a preguntas abiertas a través de tecnologías semánticas, derivadas
del AEA (Evaluación Automática de Ensayos), de manera sostenible basándose en
análisis semántico latente (LSA) de preguntas abiertas a partir del G-rubric para
apoyar el papel de los tutores on line. El objetivo es automatizar las correcciones de
los ensayos para que la fiabilidad tanto entre evaluadores como del mismo evaluador
en diversas pruebas aumente. El contexto en el que se realiza la intervención es un
curso de la UNED sobre historia económica. En síntesis, la aportación de Santamaría
et al. (2018) es relativa a la automatización de la corrección de las preguntas abiertas.
La tecnología de feedback formativo de respuestas abiertas, basadas en un análisis
semántico latente, permite la participación del estudiante que puede reflexionar
sobre el feedback y reelaborar sus respuestas. Con unos ensayos previos y a partir
del texto redactado por el profesor se determina un corpus de palabras que emplean

118 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 107-125.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 B. Gros Salvat; E. Cano García
Procesos de feedback para fomentar la autorregulación con soporte tecnológico en la educación superior: Revisión sistemática

para evaluar el primer borrador, dar un feedback automatizado y ver si se “corrige”

en el segundo borrador. El estudio documenta que la satisfacción de los estudiantes
es alta, así como la percepción de mejor preparación para el examen final y mejora
de las calificaciones en el 2º borrador de aquellos que reciben feedback. Por otra
parte, los resultados de la prueba parecen mostrar que la interacción con G-Rubric
puede mejorar el aprendizaje al brindar retroalimentación detallada.
Yuan y Kim (2016) realizan un estudio en el que proponen a los estudiantes que
tengan un rol activo, haciendo uso de tres herramientas: realizando anotaciones
multimedia y en colores con Voice Thread; discutiendo en la wiki (en su defecto, foro
de Moodle) e intercambiando pantallas capturadas (mediante Jung) con los pares e
ilustran los beneficios que la participación y el diálogo aportan.
Koskinen et al. (2018) valoran la aplicación de este modelo que se puso a prueba
en el 2016 y 2017 en un curso de física universitaria sobre termodinámica y óptica
de 7 semanas de duración. Los cursos tuvieron 72 (2016) y 77 (2017) estudiantes
que se dividieron en grupos de cinco alumnos que fueron formados por el profesor.
Los resultados de los cursos pilotos en 2016 y 2017 se compararon con los cursos en
2014 y 2015 ya que tenían el mismo contenido, los mismos profesores y un número
similar de estudiantes. Los resultados muestran que la aplicación del modelo mejoró
la retención y prolongó la actividad estudiantil. La distribución total de puntos fue
cualitativamente similar a la evaluación sumativa de años anteriores. El modelo
mejoró la retención, la carga de trabajo y la disminución de errores. Además,
los comentarios de las sesiones de práctica muestran que el uso de la tecnología
mejoraba el aprendizaje autónomo.
Harindranathan y Folkestad (2019) analizan los resultados de un curso de
microbiología desarrollado con Canvas y que se estructuró de forma cíclica: se
presenta el contenido y tareas a través de un video, durante 9 días los estudiantes
han de realizar las actividades asociadas y pueden usar un conjunto de pruebas
para valorar su conocimiento. El ciclo se cierra con un examen que hay que realizar
antes de pasar a la siguiente tarea. La investigación pretende determinar qué datos
relativos a las actividades de los estudiantes resultan más útiles y si hay una mejora
de las calificaciones. Con relación a la primera pregunta, las variables que parecen
resultar más interesantes para el profesorado y los estudiantes son: el tiempo total
utilizado, la actividad cercana a la entrega de tarea, el número de intentos y el tiempo
entre sesiones. En cuanto a los resultados de las calificaciones se obtienen claras
mejoras entre la conducta productiva dentro del campus y los resultados finales.
Son escasos los trabajos que aportan resultados sobre el feedback como acción.
La aportación más relevante es la de Koskinen et al. (2018) que elaboran lo que
denominan “the primetime learning model” que consiste en un modelo que reúne
los elementos básicos del aprendizaje activo basados en el aprendizaje colaborativo
y el aprendizaje mediado por la tecnología. Bajo este enfoque, la tecnología se
contempla como soporte que permite que los estudiantes interactúen con sus iguales

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 107-125.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 119
 B. Gros Salvat; E. Cano García
Procesos de feedback para fomentar la autorregulación con soporte tecnológico en la educación superior: Revisión sistemática

para articular pensamientos y argumentos, para proporcionar diversas visiones y

representaciones múltiples y utilizar contextos ricos usando tecnologías multimedia.
Harindranathan y Folkestad (2019) también afirman que las tecnologías digitales
tienen un papel muy relevante para apoyar la autorreflexión y la autorregulación.
No obstante, creen que hay pocas evidencias sobre qué tipos de diseños son más
adecuados para mejorar la autorregulación y critican que, en las universidades
presenciales, los campus virtuales se han utilizado de forma masiva para distribuir
materiales y no para generar actividades de aprendizaje. Estos autores insisten
en la necesidad de utilizar las analíticas para mejorar, al mismo tiempo, el diseño
formativo y el proceso de aprendizaje de los estudiantes. Para ello, elaboran un
modelo pedagógico que permite analizar constantemente el diseño de las actividades
de aprendizaje a través de los datos que se obtienen que, a su vez, sirven para refinar
el diseño de las tareas.
A un nivel de mayor complejidad encontramos diversas investigaciones
centradas en el desarrollo de tutores inteligentes. En este sentido, Kim et al. (2016)
valoran el impacto de un tutor inteligente para ayudar a los estudiantes en el proceso
de solución de problemas en el contexto del aprendizaje de la Física. El prototipo
diseñado se aplicó a 14 estudiantes de un curso de introducción a la física. Se trata de
un curso on-line en el que se presentan problemas a resolver y el sistema proporciona
respuesta inmediata (correcto, no correcto, pistas para resolver el problema).
El estudiante puede pedir ayuda al sistema sin esperar al final para elaborar la
respuesta. Los resultados obtenidos muestran que los estudiantes piden ayuda al
sistema desde el inicio de la actividad, pero, a medida que avanzan, requieren de
menos intervención del sistema. Los estudiantes se centran en la mejora de sus
respuestas y no se comparan con el resto. En general, el uso del tutor inteligente
muestra una progresión más rápida que en cursos anteriores.
Said et al. (2019) también analizan el uso de un tutor inteligente. Estos autores
proponen realizar un cambio de paradigma de la evaluación tradicional (centrada en
el profesor) a la evaluación mejorada por la tecnología (centrada en el alumno). Se
basan en la teoría del aprendizaje situado que aborda las necesidades e inquietudes de
los estudiantes a partir de experiencias de aprendizaje próximas y contextualizadas.
Se realizó un estudio de caso con una muestra intencionada de 14 estudiantes de
física. Recibieron el apoyo de un sistema de tutoría inteligente para monitorear su
aprendizaje con retroalimentación correctiva. Los resultados de las evaluaciones
acumulativas fueron mejores que en años anteriores y, además, se concluye que los
estudiantes se centran más en los aspectos positivos y se reduce la ansiedad y la fobia
a la comparación.

120 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 107-125.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 B. Gros Salvat; E. Cano García
Procesos de feedback para fomentar la autorregulación con soporte tecnológico en la educación superior: Revisión sistemática

CONCLUSIONES

Las publicaciones analizadas presentan desarrollos tecnológicos muy variados

que responden claramente a los tipos de feedback referenciados al inicio del artículo
(Cano et al., 2020). En la mayoría de los casos, la tecnología utilizada proporciona
información sobre el rendimiento o la comprensión de una tarea (Harindranathan
y Folkestad, 2019). Las aportaciones que entienden el feedback como interacción
son muy variadas en cuanto a propuestas y enfoques. García López y García Mazarío
(2016), Yuan y Kim (2016) y Koshinen et al. (2018) se encuentran en esta línea de
focalizarse en la interacción. Sin embargo, son escasos los trabajos que aportan
resultados sobre el feedback como acción.
Tal y como mencionan Spector et al. (2016) actualmente casi todos los entornos
de aprendizaje involucran y dependen de las tecnologías digitales. El propósito
de la evaluación formativa no ha cambiado debido a las nuevas tecnologías. Más
bien, la importancia de la evaluación formativa ha aumentado gracias a las nuevas
tecnologías y las demandas de aprendizaje del siglo XXI. En este sentido, Spector et
al. (2016) consideran que las tecnologías disponibles pueden ayudar a desarrollar
nuevas prácticas relacionadas con el pensamiento crítico y la resolución de problemas
complejos. Por ello, las evaluaciones acumulativas, como las calificaciones, las
pruebas estandarizadas y las clasificaciones comparativas no son suficientes para
la evaluación formativa que debe proporcionar retroalimentación individualizada y
constructiva durante la formación. El feedback del profesor al estudiante no debería
ser la única forma de proporcionar retroalimentación para mejorar los aprendizajes.
Tanto la autoevaluación como la evaluación por pares fomentan y fortalecen las
habilidades de metacognición y autorregulación que son importantes habilidades de
aprendizaje. Sin embargo, las tecnologías no suelen aportar un valor añadido para el
desarrollo de dichos procesos.
Tras el análisis de la literatura, se puede afirmar que el hecho de que las tecnologías
digitales pueden contribuir a la mejora de la participación de los estudiantes
queda sobradamente documentado, tal y como también han recogido Pinto y Leite
(2020). Sin embargo, esta participación a menudo se enmarca en un paradigma de
enseñanza-aprendizaje tradicional, de modo que se reduce a responder cuestionarios
con clickers para mantener la atención y/o lograr mejorar la motivación en entornos
de docencia presencial o en línea organizada básicamente en torno a contenidos.
Siguiendo el modelo SAMR (Sustitución, Aumento, Modificación, Redefinición)
(Puentedura, 2008) sobre la integración de las TIC en el diseño de actividades, se
evidencia que, en la mayor parte de los trabajos analizados, la tecnología se aplica
como un elemento sustitutorio de otro preexistente pero no hay una modificación o
redefinición. Se producen algunas mejoras funcionales (por ejemplo, mayor velocidad
en el feedback). Sin embargo, no se desarrollan redefiniciones significativas de las
actividades ni se crean nuevos ambientes de aprendizaje.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 107-125.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 121
 B. Gros Salvat; E. Cano García
Procesos de feedback para fomentar la autorregulación con soporte tecnológico en la educación superior: Revisión sistemática

Los análisis sobre el cambio de rol o el cambio de procesos cognitivos y

metacognitivos que la tecnología puede promover en el estudiante son, sin embargo,
escasos. El valor de las tecnologías digitales en el futuro más que radicar en dar soporte
a procesos de aprendizaje desde el punto de vista instrumental o como herramientas
al servicio del mismo quizás deberá progresar hacia formas de transformar el modo
de aprender.
El reto de empoderar a los estudiantes de sus propios procesos de aprendizaje,
para que desarrollen el juicio evaluativo (a través de experiencias de evaluación entre
iguales o de autoevaluación, entre otras) sigue siendo una tarea poco explorada. El
valor añadido que la tecnología puede reportar a dicho juicio evaluativo, entendido
como un elemento que fortalece los procesos de autorregulación del aprendizaje,
sea en la fase de planificación, de monitoreo o de autoevaluación, está aún por
determinar.
Finalmente, hay que señalar que, aunque los resultados presentados están
limitados por el número de trabajos analizados pueden constituir una base para
seguir avanzando e investigando sobre la integración de la tecnología para fomentar
la autorregulación.

AGRADECIMIENTO

La contribución está financiada por la Agencia Estatal de Investigación (AEI)

Referencia del proyecto/ AEI/ PID2019-104285GB-I00.

REFERENCIAS

Barberà, E. (2016). Aportaciones de la =40ymd5=8d0b948a16a24cf0136186304

tecnología a la e-Evaluación. Revista 0b44614
De Educación a Distancia (RED), 50. Biggs, J. B., y Tang, C. (2003). Teaching for
[Link] quality learning at university: What the
Bennett, S., Dawson, P., Bearman, M., student does. Buckingham: The Society
Molloy, E., y Boud, D. (2017). How for Research into Higher Education and
technology shapes assessment design: Open University Press.
Findings from a study of university Black, P., y Wiliam, D. (1998). Assessment
teachers. British Journal of Educational and classroom learning. Assessment
Technology, 48(2), 672-682. [Link] in Education, 5(1), 7-74. [Link]
org/10.1111/bjet.12439 org/10.1080/0969595980050102
Bhagat K. K., y Spector J. M. (2017). Formative Boekaerts, M., y Corno, L. (2005). Self-
assessment in complex problem- regulation in the classroom: A perspective
solving domains: The emerging role of on assessment and intervention. Applied
assessment technologies. Educational Psychology: An International Review,
Technology and Society, 20(4), 312-317. 54(2), 199-231. [Link]
[Link] j.1464-0597.2005.00205.x
uri?eid=2-s2.0-85032206740ypartnerID Boud, D. (2000). Sustainable assessment:
rethinking assessment for the learning

122 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 107-125.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 B. Gros Salvat; E. Cano García
Procesos de feedback para fomentar la autorregulación con soporte tecnológico en la educación superior: Revisión sistemática

society. Studies in Continuing Campbell, J. Willems, C. Adachi, D. Blake,

Education, 22, 2, 151-167. [Link] I. Doherty, S. Krishnan, S. Macfarlane,
org/10.1080/713695728 L. Ngo, M. O’Donnell, S. Palmer, L.
Boud, D., y Molloy, E. (2013). Rethinking Riddell, I. Story, H. Suri y J. Tai (Eds.),
models of feedback for learning: The Open Oceans: Learning without borders.
challenge of design. Assessment and Proceedings ASCILITE 2018 Geelong, pp.
Evaluation in Higher Education, 38(6), 113-120.
698-712. [Link] EACEA (2019). Eurydice Brief. Digital
938.2012.691462 Education at School in Europe.
Broadbent, J., Panadero, E., Lodge, J. M., Luxemburg: Eurydice.
y de Barba, P. (2020). Technologies EDUCAUSE (2020). Horizon Report.
to enhance self-regulated learning in Teaching and Learning Edition. https://
online and computer mediated learning [Link]/yyqerf6b
environments. En M. J. Bishop, J. Elen, García-Jiménez, E. (2015). La evaluación
E. Boling y V. Svihla (Eds.), Handbook of del aprendizaje: de la retroalimentación
Research in Educational Communications a la autorregulación. El papel de las
and Technology. Springer. [Link] tecnologías. Revista Electrónica de
org/10.1007/978-3-030-36119-8_3 Investigación y Evaluación Educativa,
Cano, E., Pons, L., y Lluch, L. (2020). Guía RELIEVE, 21(2), art. M2. [Link]
Feedback en la educación superior. org/10.7203/relieve.21.2.7546
Barcelona: UB. [Link] García López, A., y García Mazarío, F.
dspace/bitstream/2445/158466/1/Guia_ (2016). The use of technology in a model
feedback_Educacio_Superior_Cano_ of formative assessment. JOTSE: Journal
Pons_Lluch.pdf of Technology and Science Education,
Carless, D. (2016). Feedback as Dialogue. 6(2), 91-103. [Link]
Encyclopedia of Educational Philosophy jotse.190
and Theory. Springer Science + Business Gikandi J. W., y Morrow J. W. (2014).
Media. [Link] Designing and implementing peer
287-532-7_389-1 formative feedback within online learning
Carless, D., y Boud, D (2018). The environments. Technology, Pedagogy and
development of student feedback literacy: Education, 25(2), 153-170. [Link]
enabling uptake of feedback. Assessment org/10.1080/1475939X.2015.1058853
and Evaluation in Higher Education. Gros, B., y Suárez, C. (Coord). (2016).
[Link] Pedagogía Red. Una educación para
.1463354 tiempos de internet. Ediciones Octaedro.
Cubero, J., Ibarra, M. S., y Rodríguez G. Harindranathan, P., y Folkestad, J. (2019).
(2018). Development and use of mobile Learning analytics to inform the learning
technologies that foster students’ design: Supporting instructor’s inquiry
evaluative judgement: a design- into student learning in unsupervised
based research. Conference paper. technology enhanced platforms. Online
Technological Ecosystems for Enhancing Learning, 23(3), 34-55. [Link]
Multiculturality, TEMM’18, Salamanca, org/10.24059/olj.v23i3.2057
Spain, (pp. 151-156). [Link] Hattie, J., y Timperley, H. (2007). The power
org/10.1145/3284179.3284207 of Feedback. Review of Educational
Deneen, C., y Munshi, C. (2018). Technology- Research, 77(1), 81-112. [Link]
enabled feedback: It’s time for a critical org/10.3102/003465430298487
review of research and practice. En M.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 107-125.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 123
 B. Gros Salvat; E. Cano García
Procesos de feedback para fomentar la autorregulación con soporte tecnológico en la educación superior: Revisión sistemática

Kim, M. K., Zouaq, A., y Kim S. M. (2016). Puentedura, R. (2008). Models for enhancing
Automatic detection of expert models: technology integration. [Link]
The exploration of expert modeling [Link]/[Link]/43578/mod_
methods applicable to technology-based imscp/content/1/modelo_samr.html
assessment and instruction. Computers Ramírez; M. S., y Lugo, J. (2020). Revisión
y Education. [Link] sistemática de métodos mixtos en el marco
compedu.2016.05.007 de la innovación educativa. Comunicar,
Kitchenham, B., y Charters, S. (2007). 65(28), 9-20. [Link]
Guidelines for performing systematic C65-2020-01
literature reviews in software Raposo, M., y Cebrián, M. (2019). Technology
engineering. Keele University y University to improve the assessment of learning.
of Durham. [Link] Digital Education Review, 35, 1-13.
Koskinen, P., Lämsä, J., Maunuksela, Robertson S. N., Humphrey S. M., y Steele
J., Hämäläinen, R., y Viiri, J. (2018). J. P. (2019). Using technology tools
Primetime learning: collaborative and for formative assessments. Journal
technology-enhanced studying with of Educators, 16(2). [Link]
genuine teacher presence. International org/10.9743/JEO.2019.16.2.11
Journal of STEM Education, 5(1), 20. Rodríguez, G., e Ibarra, M. S. (Eds.) (2011).
[Link] e- Evaluación orientada al e-Aprendizaje
0113-8 estratégico. Narcea,
Lluch, L., Pons, L., y Cano, E. (2020). La Said, M. M. T, Aravind, V. R., Ferdinand-
evaluación entre iguales para contribuir al James, D., y Umachandran, K. (2019).
desarrollo de la competencia de aprender Dissecting assessment: A paradigm
a aprender en el grado de maestro de shift towards technology-enhanced
educación primaria. En R. Roig-Vila assessments. World Journal on
(Coord.), Redes de Investigación en Educational Technology: Current Issues,
Docencia Universitaria (pp. 273-284). 11(2), 24-32.
Alicante: ICE de la Universidad de Sanmartí, N. (2010). Avaluar per aprendre.
Alicante. Generalitat de Catalunya. [Link]
Panadero, E., Broadbent, J., Boud, D., y com/y2622dbc
Lodge, J. M. (2019). Using formative Santamaría, M., Hernández, M., Sánchez,
assessment to influence self- and co- Á., Luzón, J. M., y Jorge, G. (2018). Using
regulated learning: The role of evaluative Semantic Technologies for Formative
judgement. European Journal of Assessment and Scoring in Large Courses
Psychology of Education. [Link] and MOOCs. Journal of Interactive Media
org/10.1007/s10212-018-0407-8 in Education, 1. [Link]
Pinto, M., y Leite, C. (2020). Digital jime.468
technologies in support of students Spector, J. M., Ifenthaler, D., Samspon, D.,
learning in Higher Education: literature Yang, L., Mukama, E., Warusavitarana, A.,
review. Digital Education Review, 37, Lokuge Dona, K., Eichhorn, K., Fluck, A.,
343-360. [Link] Huang, R., Bridges, S., Lu, J., Ren, Y., Gui,
der.2020.37.343-360 X., Deneen, C. C., San Diego, J., y Gibson,
Pintrich, P. R. (2000). The Role of Goal D. C. (2016). Technology Enhanced
Orientation in Self-Regulated Learning. Formative Assessment for 21st Century
Handbook of Self-Regulation, 451- Learning. Educational Technology y
502. [Link] Society, 19(3), 58-71.
012109890-2/50043-3

124 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 107-125.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 B. Gros Salvat; E. Cano García
Procesos de feedback para fomentar la autorregulación con soporte tecnológico en la educación superior: Revisión sistemática

Stiggins, R. (2005). From Formative Van der Kleij, F., Adie, L., y Cumming,
Assessment to Assessment for Learning: J. (2015). Using video technology to
A Path to Success in Standards-Based enable student voice in assessment
Schools. The Phi Delta Kappan, 87(4), feedback. British Journal of Educational
324-328. [Link] Technology 22(1), 31-41. https://
stable/20441998 ddoi/10.1111/bjet.12536
Tai, J., Ajjawi, R., Boud, D., Dawson, P., Yuan J., y Kim C. (2016). Effective
y Panadero, E. (2018). Developing feedback design using free technologies.
Evaluative judgment: enabling students Journal of Educational Computing
to make decisions about the quality of Research, 52(3), 408-434. [Link]
work. Higher Education, 76(3), 467-481. org/10.1177/0735633115571929
[Link] Zimmerman, B. J. (1986). Becoming a
0220-3 self-regulated learner: Which are the
UNESCO (2020). The digital transformation key subprocesses? Contemporary
of education: connecting schools, Educational Psychology, 11(4), 307-
empowering learners. [Link] 313. [Link]
[Link]/ark:/48223/pf0000374309 476X(86)90027-5

PERFIL ACADÉMICO Y PROFESIONAL DE LAS AUTORAS

Begoña Gros Salvat. Profesora Catedrática de la Facultad de Educación de

la Universidad de Barcelona (España). Directora del Grupo de Investigación de
Entornos y Materiales para el aprendizaje. [Link]
E-mail: bgros@[Link]

Elena Cano García. Profesora Titular del Departamento de Didáctica y

Organización Educativa de la Facultad de Educación de la Universidad de Barcelona
(España). Directora del Grupo de Investigación Consolidado LMI (Learning, Media
& Social Interactions). [Link]
E-mail: ecano@[Link]

DIRECCIÓN DE LAS AUTORAS

Campus Mundet,
Passeig Vall d’Hebrón,
171. 0835 Barcelona

Fecha de recepción del artículo: 13/11/2020

Fecha de aceptación del artículo: 19/02/2021
Fecha de aprobación para maquetación: 12/03/2021

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 107-125.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 125
I.S.S.N.: 1138-2783

¿Cómo implicar a los estudiantes para que

utilicen el feedback online?
(How to Engage Students to Take Advantage of Online
Feedback)

Anna Espasa-Roca
Teresa Guasch-Pascual
Universitat Oberta de Catalunya, UOC (España)

DOI: [Link]

Cómo referenciar este artículo:

Espasa-Roca, A., y Guasch-Pascual, T. (2021). ¿Cómo implicar a los estudiantes
para que utilicen el feedback online? RIED. Revista Iberoamericana de Educación
a Distancia, 24(2), pp. 127-148. [Link]

Resumen

A pesar de una apuesta firme por la implantación de una evaluación continua y formativa
en el contexto universitario, en la práctica, este tipo de evaluación todavía hoy no es una
realidad. En este marco de evaluación, los procesos de feedback toman una relevancia clave
como facilitadores del aprendizaje. Sin embargo, los resultados de las investigaciones que se
han llevado a cabo en los últimos años sobre el feedback concluyen que los estudiantes no
lo utilizan, es decir, no lo aprovechan para mejorar su aprendizaje. El objetivo del presente
artículo es aportar evidencias sobre cómo la estrategia basada en la reelaboración del trabajo
académico puede promover la implicación de los estudiantes con el feedback en entornos
virtuales o híbridos. Para dar respuesta a este objetivo se diseñó un cuasi-experimento
con medidas pre-post. La muestra estuvo compuesta por 76 estudiantes que recibieron la
intervención (reelaboración del trabajo a partir del feedback recibido y entrega final) y 60
del grupo control. Los resultados ponen de manifiesto que la reelaboración del trabajo va
asociada a niveles más altos de implicación con el feedback. La discusión sitúa la relevancia de
los resultados en contextos virtuales o con un uso intensivo de la tecnología y su potencialidad
para transferirlos a la práctica educativa, por su impacto en la regulación y en el diseño de
prácticas realmente formativas que contribuyan al aprendizaje.

Palabras clave: feedback; virtual; evaluación formativa; reelaboración; implicación;

educación superior.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 127-148.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 127
 A. Espasa Roca; T. Guasch Pascual
¿Cómo implicar a los estudiantes para que utilicen el feedback online?

Abstract

Despite a firm commitment to the implementation of continuous and formative

assessment in Higher Education, in practice, this type of assessment is still not a reality.
In this assessment framework, feedback processes take on a key relevance as learning
facilitators. However, recent research on feedback concludes that students do not use it and
they do not engage with it. The aim of this study is to provide evidence on how the strategy
based upon the resubmission of an assignment can promote students’ engagement with
feedback in online or hybrid environments. To achieve this aim, a quasi-experiment with
pre-post measurements was designed. The sample consisted of 76 students who received the
intervention (resubmission of the assignment after receiving feedback) and 60 students in the
control group. Results show that resubmission is associated with higher levels of engagement
with feedback. The discussion highlights the relevance of the results in online contexts or with
intensive use of technology, and the potential to transfer them to educational practice. This, in
turn, has an impact on the regulation and design of actual effective training practices that can
eventually contribute to learning.

Keywords: feedback; online; formative assessment; reelaboration; engagement; higher

education.

En las últimas décadas, con la adaptación de las titulaciones universitarias al

Espacio Europeo de Educación Superior, se apostó por la evaluación continua y
formativa (López, 2006; Coll, et al., 2008) entendiendo que este tipo de evaluación
se centra más en el proceso de aprendizaje y en el desarrollo competencial y no
tanto en los productos, es decir, en las notas, en la evaluación final. Sin embargo,
estudios posteriores ponen de manifiesto que este tipo de evaluación todavía no
está plenamente implantado, siendo la evaluación basada en una prueba final tipo
examen la más común (San Martín et al., 2016).
Entre estos estudios destacan los que apuntan los retos necesarios a abordar en
los próximos años. Por un lado, destacamos el reciente análisis del profesor Boud
(2020) que señala como la propia naturaleza de la evaluación formativa requiere un
rol activo por parte del estudiante, el cual, actualmente todavía no es evidente en el
contexto universitario. Este es uno de los aspectos no resueltos y que, según el autor,
será necesario abordar en los próximos años. Por otro lado, la pandemia provocada
por la COVID-19 ha conllevado períodos de docencia totalmente remota/online o
de forma discontinua en educación superior en los que resulta aún más ambicioso
promover esta evaluación continua (García Aretio, 2021; Guasch y Espasa, 2020).
La tecnología, en este sentido, es un aliado que puede contribuir a generar nuevas
prácticas de evaluación en entornos educativos no presenciales que en un futuro
podrían consolidarse (UNESCO, 2020).
Planteados estos retos todavía no resueltos, compartimos el enfoque sobre la
evaluación formativa, que de acuerdo con Black y Wiliam (1998) consiste, en primer

128 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 127-148.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 A. Espasa Roca; T. Guasch Pascual
¿Cómo implicar a los estudiantes para que utilicen el feedback online?

lugar, en la representación que hacen los estudiantes de los objetivos que tienen
que conseguir, en segundo lugar, en cómo se sitúan ellos/as en relación a éstos y,
por último, tiene en cuenta las acciones que el estudiante debe llevar a cabo para
conseguir los objetivos propuestos y continuar aprendiendo. Coll et al. (2008)
destacan la importancia de la evaluación continua y formativa en la universidad
por ser un tipo de evaluación que promueve la autorregulación del aprendizaje. La
definen como una recogida de evidencias que permiten al docente conocer cómo
van evolucionando los estudiantes teniendo en cuenta los objetivos o competencias
establecidas y, poder ajustar así la ayuda que estos necesitan promoviendo la
regulación de su propio aprendizaje.
En este sentido, se puede concluir que la evaluación formativa es el tipo de
evaluación que contribuye a la mejora del aprendizaje. En esto no hay ninguna duda
en las investigaciones sobre los procesos evaluativos, así como también se apunta la
importancia que tiene el feedback en este tipo de evaluación (Black y Wiliam, 1998
y más recientemente Kirschner y Hendrick, 2020). Tanto la evaluación formativa
como el feedback pueden considerarse incluso más necesarios en contextos
educativos a distancia/remotos, online o híbridos con soporte de tecnología en los
cuales docente y estudiantes no comparten el mismo espacio ni el mismo tiempo y
ambos se convierten en el eje que promueve el aprendizaje (Gikandi et al., 2011).
El concepto de feedback ha ido evolucionando a lo largo de las décadas pasando
de una concepción monológica y unidireccional a otra en la que se espera que el
estudiante sea un agente activo para promover su propio aprendizaje y generar su
propio feedback (Boud y Molloy, 2013). Actualmente se han definido dos paradigmas
de feedback en la educación superior: el transmisivo y el dialógico (Ajjawi y Boud,
2015; Winstone y Carless, 2019). El paradigma transmisivo, también se le conoce
como el paradigma antiguo, se centra en proporcionar información y comentarios a
los estudiantes; el paradigma dialógico o nuevo paradigma, se centra en la interacción
y contempla las acciones futuras para promover el aprendizaje. Este artículo parte
de este segundo paradigma y se sitúa desde una perspectiva sociocultural (Evans,
2013). De esta manera, el feedback es un proceso dialógico y cíclico que se da en tres
fases: una primera que se centra en la acción de dar y recibir feedback (puede ser del
docente, de un compañero, o un feedback interno generado por la propia persona o
bien un feedback automático); una segunda fase denominada de procesamiento y
que se centra en comprender el feedback y tomar decisiones enfocadas a la mejora
del aprendizaje, y una tercera fase, la implementación, que consiste en llevar a cabo
estas decisiones y mejoras (Guasch y Espasa, 2015). Este tipo de feedback, en los
procesos de enseñanza y aprendizaje de educación superior a distancia y online en
el cual situamos la investigación que se presenta en este artículo, se convierte en la
clave que garantiza el aprendizaje. Es necesario que el estudiante reciba feedback,
que lo utilice/implemente, para que impacte en el aprendizaje. Gibbs y Simpson
(2009) afirman que los estudiantes de la Open University en el Reino Unido “pueden

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 127-148.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 129
 A. Espasa Roca; T. Guasch Pascual
¿Cómo implicar a los estudiantes para que utilicen el feedback online?

pasar sin mucho contacto presencial, o incluso sin ninguno, pero no pueden pasar
sin feedback periódico sobre las actividades y trabajos realizados” (p. 17).
A pesar de la importancia del feedback en la educación superior y en los contextos
de educación a distancia, muchas investigaciones concluyen que los estudiantes no
están satisfechos con el feedback que reciben puesto que consideran que no les resulta
útil. Las razones por las cuales los estudiantes no lo utilizan o no se implican con el
feedback son de naturaleza diferente: porque no lo comprenden, porque no llega en
el momento adecuado, porque no les ayuda a mejorar, entre otros (O’Donovan et al.,
2015).
Entendemos la implicación de los estudiantes en el proceso de aprendizaje
(engagement, en la literatura anglosajona) como la integración de tres dimensiones
que definen Fredricks et al. (2004): la dimensión comportamental, la afectiva y la
cognitiva. A pesar que sus contribuciones se contextualizan en el ámbito escolar,
son ampliamente utilizadas en la investigación sobre la implicación educativa en
diferentes niveles educativos. En la investigación que presentamos nos centramos
únicamente en la dimensión cognitiva, la cual se conceptualiza en términos de
promover la autorregulación del aprendizaje y el aprendizaje estratégico. En este
sentido, los estudiantes deben ser competentes en utilizar estrategias metacognitivas
como planificar, monitorear y evaluar su cognición cuando están llevando a cabo
una tarea de aprendizaje (Pintrich y De Groot, 1990; Zimmerman, 1990, citados
en Fredricks et al., 2004). Además, es necesario añadir que nos centramos,
específicamente, en la implicación cognitiva en relación al feedback, es decir,
hacemos referencia a aquellas decisiones y acciones que el estudiante lleva a cabo
para aprovechar el feedback recibido y que le permiten regular su propio aprendizaje
(Price et al., 2011).
Los estudios en esta línea describen que para implicar a los estudiantes con el
feedback puede haber diferentes tipos de intervenciones o estrategias que se pueden
poner en práctica. En la revisión sistemática que llevaron a cabo Winstone et al. (2017)
identificaron cuatro grupos de intervenciones con respecto a la implementación del
feedback. Una de ellas se centraba en la manera y el momento en el cual hay que
facilitar el feedback (siendo más formativa o más sumativa). La investigación que se
presenta va en esta línea y, concretamente, se centra en el análisis de la reelaboración
de un trabajo académico/actividad de aprendizaje, es decir, esta estrategia consiste
en proporcionar feedback en dos momentos: uno a mitad del trabajo o actividad y
enfocado a la reelaboración y otro, después de la entrega final de este trabajo.
Otros autores han hecho referencia a esta intervención o estrategia como una de
las posibles para promover la implicación de los estudiantes con el feedback (Carless
et al., 2011; O’Donovan et al., 2015; Carless y Winstone, 2020), sin embargo, hay
pocos estudios empíricos que confirmen el impacto de la misma en el aprendizaje.
Uno de los que nos interesa especialmente es el de Fisher et al. (2011). En este estudio
se llevó a cabo una intervención con los estudiantes de primer año de universidad.
Se les dio la oportunidad de entregar un borrador antes de la entrega final y los

130 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 127-148.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 A. Espasa Roca; T. Guasch Pascual
¿Cómo implicar a los estudiantes para que utilicen el feedback online?

docentes proporcionaron feedback a cada estudiante para que pudieran mejorar su

trabajo. Los resultados muestran que los estudiantes que recibieron feedback sobre
el borrador obtuvieron mejores notas en la entrega final.
La investigación que presentamos a continuación parte de los resultados de una
investigación anterior que ya se centró en analizar este tema en entornos virtuales
(Espasa et al., 2018). Las conclusiones confirmaron que la reelaboración de un
trabajo académico es una de las condiciones que promueven un feedback dialógico
y, por lo tanto, que contribuye al aprendizaje.
Considerando estos resultados, el presente estudio va un paso más allá y analiza
el efecto de la reelaboración en la implicación con el feedback. En este sentido, se
abordan las dos siguientes preguntas de investigación:

1. ¿La reelaboración de un trabajo académico o actividad de evaluación (a partir

del feedback recibido) incide en la implicación de los estudiantes con el uso del
feedback?
2. ¿Cómo afecta no tener la posibilidad de reelaborar el trabajo académico en la
implicación con el feedback recibido?

METODOLOGÍA

Este estudio se ha llevado a cabo en la Universitat Oberta de Catalunya (UOC),

una universidad online en la cual el proceso de enseñanza y aprendizaje se basa en
la comunicación asíncrona y mayoritariamente escrita. A lo largo de un semestre el
estudiante debe elaborar diferentes trabajos académicos o actividades de evaluación
(debates, discusión de casos, elaboración de resúmenes, mapas conceptuales, etc.)
que se planifican de forma consecutiva y con finalidad formativa.
Los resultados que se presentan se han obtenido de los datos recogidos en la
asignatura Trastornos del aprendizaje de la lectura del Máster Universitario de
Dificultades del Aprendizaje, constituida por diferentes grupos-aula. En esta
asignatura se diseñaron 3 actividades de evaluación o trabajos académicos que
requerían la respuesta y reflexión a unas preguntas así como la elaboración de textos
argumentativos sobre diagnósticos. La recogida de datos se realizó de octubre del
2019 a febrero del 20201.

Diseño de la investigación

Esta investigación utiliza técnicas de investigación y análisis cualitativas y

cuantitativas, encuadrándose en las estratégicas de métodos mixtos, si bien el
presente artículo se centra en los resultados cuantitativos. Concretamente, se
analizan los resultados correspondientes a un cuasi-experimento implementado en
el campus online de la UOC, en el que los estudiantes se agruparon aleatoriamente

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 127-148.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 131
 A. Espasa Roca; T. Guasch Pascual
¿Cómo implicar a los estudiantes para que utilicen el feedback online?

a diferentes situaciones experimentales (correspondientes a diferentes aulas) y se

mantuvo un grupo de control. El presente artículo se centra en la comparación de los
estudiantes que recibieron feedback para la reelaboración de los trabajos académicos
o actividades evaluativas (situación experimental 1) y los estudiantes que no (grupo
control).
Además de la condición relacionada con el experimento, se controlaron otras
condiciones: todos los estudiantes son del mismo nivel y los grupos-clase están
acompañados por el mismo profesorado, con la misma metodología y mismo criterio
de evaluación y feedback. Para realizar el cuasi-experimento el profesorado participó
en sesiones de formación para que todos facilitaran el mismo tipo de feedback
orientado a fomentar el aprendizaje y con contenido epistémico y sugestivo (Guasch
et al., 2019). Es importante destacar que el feedback que se proporcionaba con la
finalidad de reelaborar el trabajo no incluía una calificación.
En conjunto (ver figura 1), el cuasi-experimento consistió en tres etapas
correspondientes a las tres actividades evaluativas o trabajos académicos que
elaboraron los estudiantes. En cada una de estas actividades, los estudiantes enviaron
un esbozo de la misma, recibieron feedback por parte del profesorado, reelaboraron
la actividad y la volvieron a entregar obteniendo la calificación final. Este artículo se
centra en los resultados comparados del momento inicial y el final (ver figura 1, la
caja con el fondo gris más oscuro), por lo que debe considerarse una evaluación ex-
ante y ex-post. De esta manera se trata de un diseño cuasi-experimental de diseño
de grupos no equivalentes con medidas antes y después en el que se ha respetado
el ecosistema del grupo clase. La aleatoriedad se ha focalizado en la asignación de
aulas a intervenciones y se ha controlado y verificado que las observaciones ex-ante
no presenten diferencias significativas, con el objetivo de dotar de validez interna a
los grupos a comparar (Fontes de Gracia, et al., 2015). En el siguiente apartado se
detalla la muestra que ha participado en el estudio y el instrumento empleado para
producir los datos que se analizan en este artículo.

132 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 127-148.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 A. Espasa Roca; T. Guasch Pascual
¿Cómo implicar a los estudiantes para que utilicen el feedback online?

Figura 1
Diseño de investigación. Fases y evidencias claves

Fuente: Elaboración propia

Participantes

Un total de 210 estudiantes completaron los cuestionarios iniciales y finales

del cuasi-experimento. Como se ha indicado, en el presente artículo se analizan los
resultados concretos de los estudiantes de los grupos que tuvieron la posibilidad de
reelaborar su trabajo a partir del feedback recibido (76) comparados con el grupo de
control (60).
Si bien no es habitual identificar la validez y precisión muestral en diseños cuasi-
experimentales (Fernández-García et al., 2014) en grupos pre-establecidos (como
aulas o grupos clase), es importante informar de estos criterios con el objetivo
de evaluar la potencia de los resultados obtenidos a partir de diferentes criterios,
y específicamente la validez externa. Por un lado, si se considera el conjunto de
grupo aula matriculado inicialmente en la asignatura como universo de estudio
(N=375), la muestra total conseguida (n=210) implica un margen de error global de
los resultados de +4,58 (para un nivel de confianza del 95% (bajo los supuestos de
muestreo aleatorio en universos finitos y p=q=50). Focalizando en los estudiantes
que pudieron reelaborar o son grupo de control, el total del universo inicial fue de
254 casos (N), de manera que el error global de la muestra n=136 es de + 5,86 bajo los
mismos supuestos y condicionantes. Por otro lado, se trata de un cuasi-experimento
que limita el sesgo en los errores, dado que las muestras están equilibradas y
como se explicará en los resultados, las medidas ex-ante no presentan diferencias
significativas entre grupos.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 127-148.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 133
 A. Espasa Roca; T. Guasch Pascual
¿Cómo implicar a los estudiantes para que utilicen el feedback online?

Instrumento de recogida de datos

Para llevar a cabo esta investigación se diseñó un cuestionario online ad-hoc,

a partir de la revisión de la literatura que permitió identificar los conceptos y
dimensiones clave objeto de análisis. Se tomaron los ítems validados en cuestionarios
existentes, como el de Fredricks et al. (2004) y de Fredricks et al. (2016), y se
adaptaron al contexto (online) y temática concreta (feedback). Antes de realizar el
cuasi-experimento se realizó un proceso de validación interna con jueces expertos (7)
y una prueba piloto con tres estudiantes. Las aportaciones se discutieron en el marco
del grupo de investigación que generó un cuestionario definitivo, más sólido, en tanto
que sus conceptos, dimensiones e ítems son más pertinentes, relevantes y están mejor
formulados para el objetivo que se pretendía. El cuestionario definitivo está formado
por 6 bloques. El presente artículo analiza los datos recogidos correspondiente al
bloque 4, que trata sobre la implicación con el feedback, y específicamente sobre
la implicación cognitiva (ver tabla 1). Los ítems han sido medidos en una escala de
1-7 en la que el 1 significa implicación baja (poco frecuente) y 7 una implicación alta
(muy frecuente).

Tabla 1
Operativización de la implicación cognitiva con el feedback en entornos online

Nivel Tipo Código Indicador

No utilizar el No suelo hacer nada con el feedback recibido
Baja N1
feedback aunque tenga que volver a entregar el trabajo
L1 Siempre leo el feedback que recibo
Media-
Lectura del feedback Comento con los compañeros/as el feedback que
baja L2
recibo
Realizo preguntas al profesorado sobre lo que
C1
no he entendido del feedback
Trato de comprender todo lo que me quieren
C2
decir en el feedback
Relaciono el feedback con lo que ya sé o con
C3
experiencias previas
Comprensión del
Media Si no entiendo lo que quiere decir algo cuando
feedback
leo el feedback, realizo alguna acción con el
C4 objetivo de comprenderlo: pregunto al profesor
para aclarar los aspectos que no entiendo;
vuelvo a leerlo o buscar más información, etc.
Relaciono el feedback con la actividad que he
C5
presentado

134 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 127-148.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 A. Espasa Roca; T. Guasch Pascual
¿Cómo implicar a los estudiantes para que utilicen el feedback online?

Nivel Tipo Código Indicador

Busco información a partir del feedback que
I1
recibo
Identificación de los
Cuando leo el feedback reviso el trabajo, intento
aspectos positivos y
Media- I2 identificar puntos fuertes y elementos de mejora
a mejorar del trabajo
alta y / o incomprensiones o errores
académico/actividad
de evaluación Identifico aspectos a mejorar y busco
I3 información de diferentes fuentes para
mejorarlo
Identifico los aspectos a mejorar y planifico las
R1
próximas acciones para mejorarlo
Intento extraer del feedback aquellos aspectos
R2 que deberé considerar en futuras ocasiones o
Regulación actividades
Alta cognitiva del trabajo Reelaboro el trabajo y voy supervisando lo
académico/actividad que voy haciendo con el objetivo de valorar
de evaluación R3
si realmente estoy considerando los aspectos
indicados en el feedback
Una vez reelaborado el trabajo hago una
R4 revisión final para valorar si realmente
contempla los aspectos indicados en el feedback
Fuente: Elaboración propia a partir de Fredricks et al. (2004) y de Fredricks et al. (2016).

Análisis de los datos

El análisis de datos se llevó a cabo mediante dos procedimientos básicos: (1)

estadística descriptiva univariada y bivariada y (2) estadística inferencial bivariable
para muestras relacionadas. El análisis estadístico se realizó con SPSS. Con respecto
al punto 1, se empleó estadística descriptiva univariante produciendo los resúmenes
básicos como medias (M) y desviaciones estándar (SD) así como análisis de posición
(cuartiles). Por lo que se refiere al punto 2: el análisis inferencial bivariado, antes
de abordar el contraste de hipótesis, se llevó a cabo la prueba de la normalidad de
Kolmogorov-Smirnov (K-S), que fue positiva. Por este motivo, para comparar los
resultados ex-ante y ex-post en cada grupo experimental por separado (grupo que
ha recibido feedback para la reelaboración y grupo control) se ha utilizado el test
de Wilcoxon para muestras relacionadas en condiciones no paramétricas. De esta
manera, la selección de las pruebas a llevar a cabo se ha planificado previamente
y se han ajustado a criterios metodológicos (métrica de las variables y contraste de
la normalidad de su distribución) evitando así el estrés asociado a la realización de
múltiples test y limitando el error de Tipo I (Fernández-García et al., 2014).

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 127-148.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 135
 A. Espasa Roca; T. Guasch Pascual
¿Cómo implicar a los estudiantes para que utilicen el feedback online?

RESULTADOS

A continuación, pasamos a responder las dos preguntas de investigación

formuladas previamente.

1. ¿La reelaboración de un trabajo académico o actividad de aprendizaje

(a partir del feedback recibido) incide en la implicación cognitiva de
los estudiantes con el uso del feedback?

Los resultados muestran que la estrategia o intervención basada en la

reelaboración de un trabajo académico a partir del feedback recibido incide de
manera significativa en la implicación cognitiva de los estudiantes con el feedback.
Esto significa que aquellos estudiantes que a lo largo de la asignatura han enviado
al profesorado un borrador, es decir una primera versión de su trabajo o actividad,
que han obtenido feedback y lo han implementado reelaborando la actividad para
su evaluación final, demuestran mayores niveles de implicación cognitiva con el
feedback (ver figura 2).

Figura 2
Implicación cognitiva con el feedback de los estudiantes que han recibido feedback
para la reelaboración. Valores medios de los tipos de implicación cognitiva

Fuente: Elaboración propia.

Nota: Valores medios en una escala de 1 (implicación baja) a 7 (implicación alta)

136 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 127-148.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 A. Espasa Roca; T. Guasch Pascual
¿Cómo implicar a los estudiantes para que utilicen el feedback online?

Concretamente (ver tabla 2) los estudiantes que han podido reelaborar su trabajo
a partir del feedback recibido experimentan un aumento significativo de las acciones
cognitivas asociadas a la “identificación de los aspectos fuertes y de mejora del trabajo
académico” (z=-5,669; p<0,001) y la “regulación cognitiva del trabajo o actividad de
evaluación” (z=-3,519; p<0,001). Con mayor detalle, en relación a la identificación
de los aspectos positivos y los aspectos a mejorar del trabajo, todos sus indicadores
mejoran y se observan aumentos significativos. Estos se centran en la frecuencia con
que los estudiantes buscan información a partir del feedback (z=-4,490; p<0,001),
la frecuencia con la que revisan la actividad identificando los puntos fuertes y débiles
así como los elementos de mejora y posibles errores (z=-5,278; p<0,001), y también
con el indicador relacionado con la búsqueda de información para realizar dichas
mejoras (z=-3,858; p<0,001). Concretamente, la frecuencia media de búsqueda de
información a partir del feedback recibido pasa de 5,14 a 6,34 y la identificación de
puntos fuertes y débiles de 5,43 a 6,37.
Las mejoras en la “regulación cognitiva de la tarea” se concentran en dos ítems
y son menos intensas en términos medios: mayor hábito de reelaborar la actividad
chequeando, es decir, supervisando lo que se ha ido haciendo con el objetivo de
valorar si realmente se tienen en cuenta los aspectos indicados en el feedback (z=-
4,250; p<0,001) así como haciendo una revisión final para valorar si realmente se
contemplan los aspectos indicados en el feedback (z=-3,561; p<0,001).
Los elevados efectos en la “identificación de los aspectos positivos y a mejorar” y
en la “regulación cognitiva de la tarea”, es decir en los niveles medio alto y alto de la
implicación cognitiva con el feedback, van acompañados de otras transformaciones
algo más complejas en niveles inferiores. En primer lugar, en términos de
“comprensión del feedback”, no se produce un cambio neto pero sí en acciones
concretas que se compensan entre sí, puesto que son de signo contrario. Por un
lado, los estudiantes que han recibido feedback para la reelaboración de la actividad
mejoran leve pero significativamente en cuanto a tratar de comprender todo lo
que se les ha querido comunicar con el feedback (z=-2,278; p=0,023), también
en el indicador que hace referencia a relacionar el feedback con las experiencias
previas (z=-3,105; p=0,002) y relacionar feedback y el trabajo presentado (z=-
3,0023; p=0,003), es decir, en general se puede decir que los estudiantes se activan:
preguntan al profesor, vuelven a leer, etc. (z=-1,970; p=0,049). Sin embargo dejan
de consultar al profesorado de manera evidente (pasando de una frecuencia media
de 5,30 a 4,08) (z=-3,599; p<0,001).
Esto se traduce también en menor tendencia global a la “lectura del feedback”
(z=-3,040; p=0,002), es decir un nivel de implicación cognitiva medio bajo,
específicamente por dejar de comentar el feedback recibido con los compañeros (z=-
3,257; p<0,001).
En definitiva, la reelaboración del trabajo o actividad conlleva mayores índices en
la “identificación de los aspectos positivos y a mejorar del trabajo” y en la “regulación
cognitiva del trabajo académico” y mayor análisis de feedback focalizándose en

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 127-148.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 137
 A. Espasa Roca; T. Guasch Pascual
¿Cómo implicar a los estudiantes para que utilicen el feedback online?

mejoras concretas y aplicadas, y menos en comentarlo y discutirlo sin finalidad clara

de implementación.

Tabla 2
Implicación cognitiva con el feedback de los estudiantes que han recibido feedback
para la reelaboración. Detalle de ítems

Fuente: Elaboración propia.

Nota: Escala de 1 (poco frecuente/implicación baja) a 7 (muy frecuente/implicación alta)

2. ¿Cómo afecta no tener la posibilidad de reelaborar el trabajo

académico en la implicación cognitiva con el feedback recibido?

Los resultados muestran que no posibilitar la reelaboración del trabajo académico

o las actividades que los estudiantes están realizando, tiene efectos significativos
y negativos para la implicación cognitiva de los estudiantes con el feedback. El
grupo de estudiantes que no recibieron la intervención y por lo tanto no tuvieron la
posibilidad de reelaborar el trabajo, pero sí recibieron feedback al final del mismo,

138 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 127-148.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 A. Espasa Roca; T. Guasch Pascual
¿Cómo implicar a los estudiantes para que utilicen el feedback online?

ven alterados sus niveles de implicación cognitiva reduciéndose significativamente

a la “lectura del feedback”, “comprensión” del feedback y “regulación cognitiva del
trabajo” y aumentado la falta de atención al feedback (“no utilizar el feedback”) (ver
figura 3).

Figura 3
Implicación cognitiva con el feedback de los estudiantes que no han recibido
feedback para la reelaboración (grupo control). Valores medios de los tipos de
implicación cognitiva

Fuente: Elaboración propia.

Nota: Valores medios en una escala de 1 (implicación baja) a 7 (implicación alta)

Como se ha realizado cuando hemos presentado los resultados a propósito de la

primera pregunta de investigación, esos efectos generales se pueden detallar según
los diferentes indicadores (ver tabla 3). Por un lado, los estudiantes que no recibieron
feedback para la reelaboración declaran con mayor frecuencia no haber hecho nada
con el feedback final recibido (z=-2,843; p=0,004), pasando de una media de 1,58
a 2,42.
Paralelamente se produce una reducción significativa de la implicación media
baja, identificada con la lectura (z=-2,331; p=0,002), pero concretamente, y como en
el caso de los estudiantes que sí han recibido feedback para la reelaboración, por el
hecho de dejar de comentarlo con los compañeros (z=-2,699; p=0,007).
Las acciones asociadas a niveles de implicación cognitiva media, es decir, de
“comprensión”, también se reducen significativamente si el feedback es solo al final

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 127-148.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 139
 A. Espasa Roca; T. Guasch Pascual
¿Cómo implicar a los estudiantes para que utilicen el feedback online?

del trabajo académico y no está asociado a la reelaboración del mismo (z=-3,102;

p=0,002). En concreto, los resultados obtenidos apuntan a que se deja de hacer
preguntas a la profesora de manera muy intensa (z=-4,875; p<0,001) y se percibe
una desactivación en general, es decir, que si no se ha entendido algo con relación
al feedback recibido, el estudiante se moviliza poco para comprender el feedback,
preguntar dudas, volverlo a leer, buscar información, etc. (z=-2,001; p=0,045).
En lo que concierne a la “identificación de los aspectos positivos y a mejorar
el trabajo académico” (nivel de implicación cognitiva con el feedback medio-alto),
se trata de un nivel de implicación que no se ve alterado significativamente en
conjunto pero sí en dos de sus tres indicadores y en sentido contrario, de manera
que el efecto neto queda compensado y anulado. Por un lado, al no recibir feedback
para la reelaboración de las actividades los estudiantes buscan con menos frecuencia
información a partir de él (z=-2,310; p=0,021), pero aumenta la frecuencia con
que revisan el trabajo identificando puntos fuertes y elementos de mejora y/o
incomprensiones/errores (z=-2,676; p=0,007).
Por último, es necesario destacar que si no se recibe feedback para reelaborar los
trabajos académicos o actividades de evaluación, se reducen significativamente los
comportamientos de “regulación cognitiva” a partir del feedback. Específicamente, los
estudiantes muestran valores más bajos en relación al indicador que hace referencia
a la “identificación de aspectos a mejorar para planificar las próximas acciones” (z=-
2,398; p=0,017) y, por otro lado, con respecto a los dos indicadores que se refieren
a la revisión del trabajo: tanto la revisión del trabajo académico en el momento de
su reelaboración para asegurar que se está teniendo en cuenta el feedback que han
recibido (z=-5,211; p<0,001) como la revisión para, una vez reelaborado el trabajo,
asegurar que integra el feedback que el estudiante ha recibido (z=-3,653; p<0,001).
La menor frecuencia de estos dos últimos comportamientos de regulación
cognitiva del trabajo académico, pueden parecer lógicos, puesto que el diseño de
la evaluación no parece sugerir al estudiante que debe procesar e implementar el
feedback siendo solo final y con cualificación.

140 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 127-148.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 A. Espasa Roca; T. Guasch Pascual
¿Cómo implicar a los estudiantes para que utilicen el feedback online?

Tabla 3
Implicación cognitiva con el feedback de los estudiantes que no han recibido
feedback para la reelaboración (grupo control). Detalle de ítems

Fuente: Elaboración propia.

Nota: Escala de 1 (poco frecuente/implicación baja) a 7 (muy frecuente/implicación alta)

3. En síntesis: relación entre las dos preguntas de investigación.

En la tabla 4 se presentan de manera sintética los principales efectos en la

implicación cognitiva en función de si los estudiantes han recibido feedback para
reelaborar las actividades (grupo experimental) o no (grupo control). Si repasamos
cada uno de los tipos de implicación cognitiva, empezando por el “no uso del feedback
recibido” los valores correspondientes a la utilización del feedback aumentan en el
grupo de estudiantes que reciben el feedback para la reelaboración y disminuyen en
el caso del grupo que no reciben este feedback.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 127-148.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 141
 A. Espasa Roca; T. Guasch Pascual
¿Cómo implicar a los estudiantes para que utilicen el feedback online?

La “lectura del feedback” se reduce significativamente en los dos grupos porque

ambos dejan de comentar sobre él con los compañeros como también se reduce el
comentar con el profesorado, sea cual sea el diseño de la asignatura.
Por lo que se refiere a la “comprensión del feedback” para la reelaboración, los
efectos positivos en la gran mayoría de sus indicadores, son claros. Mientras que no
recibirlo implica básicamente dejar de activarse respecto al feedback en general.
En los niveles de implicación cognitiva medio-alto y alto se produce igualmente
un efecto positivo de recibir feedback para la reelaboración, en todos los indicadores
de “identificación de los aspectos positivos y los aspectos a mejorar del trabajo
académico” y en los vinculados a la implementación del feedback. A su vez, no recibir
este feedback tiene claros efectos negativos en la identificación de estos aspectos a
mejorar del trabajo y en la regulación cognitiva en relación al trabajo.
Por último, se pueden mencionar además dos indicadores que no se ven alterados
en función de recibir o no feedback para la reelaboración. Por un lado, “leer el
feedback” recibido se hace en frecuencia similar tanto si se ha recibido feedback
para la reelaboración como si no. Y además, tampoco se observan efectos en el
intentar extraer del feedback aquellos aspectos a considerar en futuras ocasiones o
actividades.

142 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 127-148.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 A. Espasa Roca; T. Guasch Pascual
¿Cómo implicar a los estudiantes para que utilicen el feedback online?

Tabla 4
Análisis comparativo de la implicación cognitiva con el feedback de los estudiantes
según si han recibido feedback para la reelaboración

Fuente: Elaboración propia.

DISCUSIÓN

El objetivo de esta investigación es aportar evidencias sobre el impacto que

tiene la reelaboración del trabajo académico a partir del feedback recibido y antes
de una entrega final, así como aportar evidencias de qué impacto tiene no tener la
oportunidad de reelaboración. Los resultados muestran un claro efecto positivo en
la implicación cognitiva de los estudiantes y un claro efecto negativo cuando no se
da este feedback para la reelaboración. Presentamos la discusión abordando tres

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 127-148.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 143
 A. Espasa Roca; T. Guasch Pascual
¿Cómo implicar a los estudiantes para que utilicen el feedback online?

aspectos que sitúan los resultados en cuanto a la importancia que tienen en entornos
virtuales: el momento en el cual se da el feedback, el diseño de la asignatura y la
interacción entre docente y estudiantes y entre los estudiantes. Así mismo, apuntamos
algunas interpretaciones que emergen de la comparación de los resultados de ambos
grupos de estudiantes analizados.
En primer lugar, por lo que concierne al momento en el que se da el feedback, los
resultados de nuestra investigación podrían apuntar a una discrepancia en relación
a la reflexión que hacen O’Donovan et al. (2015) sobre el momento en el cual se
proporciona el feedback. Según estos autores, esta estrategia de reelaboración no
comporta más dedicación para el docente puesto que únicamente supone mover el
momento en el cual se da el feedback, pasando de darse al final de un trabajo o
actividad, a la mitad de esta (durante el proceso de realización). Es en este sentido,
que no afectaría a la carga de trabajo. El diseño de nuestra investigación contempla
tanto el feedback a la mitad del trabajo académico como al final. En este caso sí
hay que considerar la carga de trabajo que supone para el profesorado implementar
esta estrategia de reelaboración. Una línea futura de investigación podría analizar
este tema y confirmar o no si implementar este tipo de estrategia es realmente una
sobrecarga significativa para el profesorado.
En cuanto al diseño de los procesos de enseñanza y aprendizaje, y si nos
centramos específicamente en lo que se refiere al grupo de estudiantes que tuvieron
la posibilidad de reelaborar el trabajo, los resultados de nuestra investigación
confirman la importancia de los resultados que obtuvieron Fisher et al. (2011). Estos
autores ponen el énfasis en la importancia de diseñar oportunidades a los estudiantes
universitarios para que puedan mostrar que han integrado el feedback. Un aspecto a
destacar es que su estudio se centra en estudiantes de primer año de universidad. En
el estudio que presentamos, son estudiantes de máster y por tanto, permite ir un paso
más allá del estudio de Fisher y sus colaboradores y confirmar que la reelaboración
de un trabajo académico también es útil en estudiantes con experiencias previas y
específicamente, en entornos online de enseñanza y aprendizaje.
La importancia del diseño también se pone de manifiesto en la revisión que hacen
Gikandi et al. (2011) sobre evaluación formativa online en la educación superior.
Ellos apuntan la necesidad de que el diseño promueva esta evaluación formativa.
Los resultados de nuestra investigación aportan evidencias en esta línea ya que
para garantizar la reelaboración de los trabajos académicos es necesario que las
asignaturas estén diseñadas y planificadas desde el inicio del proceso de enseñanza y
aprendizaje contemplando esta oportunidad de reelaboración y de entrega final del
trabajo.
Por otro lado, Gikandi et al. (2011) también destacan la necesidad de promover la
interacción para facilitar la evaluación formativa y la implicación de los estudiantes
con el feedback. En este sentido, los resultados de esta investigación ponen de
manifiesto que el feedback proporcionado para reelaborar el trabajo, comporta
que los estudiantes, a pesar de que leen el feedback, lo comentan poco con sus

144 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 127-148.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 A. Espasa Roca; T. Guasch Pascual
¿Cómo implicar a los estudiantes para que utilicen el feedback online?

compañeros. Aquí se abriría una línea de investigación para el futuro para contrastar
si otro tipo de feedback podría generar mayor interacción entre los estudiantes.
Por último, aportamos algunas reflexiones que se desprenden de la comparación
entre los dos grupos de estudiantes que se han analizado (los que han podido
reelaborar su trabajo y los que no) y que nos permiten hacer algunas interpretaciones
que expliquen los comportamientos de los estudiantes en relación con el feedback
en un entorno virtual. En este sentido, un análisis detallado de los resultados
evidencia que hay algunos comportamientos similares entre los estudiantes que
han podido reelaborar su trabajo y los que no. Así, por ejemplo, es el caso de las
acciones que se refieren a comentar el feedback con los compañeros, que en ambos
grupos de estudiantes, se da con menor frecuencia. Una posible explicación de este
resultado puede asociarse a la metodología de trabajo individual que se plantea en la
asignatura, la cual ya no invita a compartir los resultados con los compañeros. Otro
ejemplo es que en ambos grupos aumentan las acciones vinculadas a la revisión del
trabajo analizando los puntos fuertes y débiles así como errores e incomprensiones.
No tenemos datos para interpretar este resultado, sin embargo, se podría pensar
que los estudiantes que tienen la posibilidad de reelaborar la actividad chequean el
feedback porque pueden volver a entregar la actividad. En el caso de los estudiantes
que no han tenido la oportunidad de reelaborar podría interpretarse que revisan el
feedback para asegurarse que es acorde a la nota que han recibido.
La contribución de este artículo se centra en la importancia de diseñar estrategias
que incorporen la necesidad de los estudiantes de tomar decisiones y llevar a cabo
acciones a partir del feedback que han recibido para, así, poder reelaborar y mejorar
el trabajo académico realizado. Esta necesidad ha tomado formas y nombres
diferentes en los últimos años, como: espirales de feedback (Carless, 2018), feedback
dialógico (Steen-Utheima y Wittek, 2017), actividades de evaluación con dos etapas
(Carless et al., 2011)… Sea cual sea el nombre recibido, todas estas se enmarcan en
la evaluación formativa la cual, como se apuntaba al principio, todavía sigue siendo
un reto llevarla a la práctica.
Para concluir y retomando la pregunta del título de este artículo, ¿cómo
implicar a los estudiantes para que utilicen el feedback online?, los resultados no
solo confirman las bondades de la implementación de la estrategia de reelaboración
de un trabajo académico para implicar a los estudiantes, sino que también son
especialmente relevantes porque concluyen que si no se facilita este feedback para
la reelaboración, se reducen globalmente los niveles de implicación cognitiva de los
estudiantes, un aspecto central para el aprendizaje.

AGRADECIMIENTOS

Esta investigación ha sido parcialmente financiada por el Ministerio de Ciencia,

Innovación y Universidades. Forma parte del proyecto I+D: Involucrar a los
estudiantes con el feedback dialógico para aprender en entornos virtuales (PGC2018-
098552-B-I00).

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 127-148.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 145
 A. Espasa Roca; T. Guasch Pascual
¿Cómo implicar a los estudiantes para que utilicen el feedback online?

NOTAS

1.
Esta investigación cumple con todos los criterios éticos que se aplican en las ciencias
sociales. El proyecto en el cual se enmarca este estudio fue aprobado por el Comité de
ética de la universidad.

REFERENCIAS

Ajjawi, R., y Boud. D. (2015). Researching continuada como instrumento para

feedback dialogue: an interactional el ajuste de la ayuda pedagógica y
analysis approach. Assessment & la enseñanza de competencias de
Evaluation in Higher Education, 42(2), autorregulación. Cuadernos de Docencia
1-14. [Link] Universitaria núm. 8. ICE de la Universitat
.2015.1102863 de Barcelona. Editorial Octaedro. http://
Black, P., y Wiliam, D. (1998). Assessment [Link]/2445/144979
and Classroom Learning. Assessment in Espasa, A., Guasch, T., Mayordomo, R. M.,
Education: Principles, Policy & Practice, Martínez-Melo, M., y Carless, D. (2018).
5(1), 7-74. 10.1080/0969595980050102. A Dialogic Feedback Index measuring key
Boud, D., y Molloy, E. (2013.) Rethinking aspects of feedback processes in online
models of feedback for learning: the learning environments. Higher Education
challenge of design. Assessment & Research & Development, 37(3), 499-513.
Evaluation in Higher Education, 38(6), [Link]
698-712. [Link] .1430125
938.2012.691462 Evans, C. (2013). Making Sense of
Boud, D. (2020). Challenges in reforming Assessment Feedback in Higher
higher education assessment: a Education. Review of Educational
perspective from afar. RELIEVE, 26(1), Research, 83(1), 70-120. [Link]
art. M3. [Link] org/10.3102/0034654312474350
relieve.26.1.17088 Fernández-García, P., Vallejo-Seco, G.,
Carless, D., Salter, D., Yang, M., y Lam, Livacic-Rojas, P. E., y Tuero-Herrero,
J. (2011). Developing sustainable E. (2014). Validez estructurada para
feedback practices. Studies in Higher una investigación cuasi-experimental
Education, 36(4), 395-407 [Link] de calidad. Se cumplen 50 años de
org/10.1080/03075071003642449 la presentación en sociedad de los
Carless, D. (2018). Feedback loops and the diseños cuasi-experimentales. Anales de
longer-term: towards feedback spirals. Psicología, 30(2). 756-772. [Link]
Assessment and Evaluation in Higher org/10.6018/analesps.30.2.166911
Education, 44(5), 705-714. [Link] Fisher, R., Cavanagh, J., y Bowles, A. (2011).
g/10.1080/02602938.2018.1531108 Assisting transition to university: using
Carless, D., y Winstone, N. (2020). Teacher assessment as a formative learning tool.
feedback literacy and its interplay with Assessment and Evaluation in Higher
student feedback literacy. Teaching in Education, 36(2), 225-237. [Link]
Higher Education. [Link] org/10.1080/02602930903308241
80/13562517.2020.1782372 Fontes de Gracia, S., García-Gallego, C.,
Coll, C., Rochera, M. J., Mayordomo, R. y Quintanilla, L. (2015). Fundamentos
M., y Naranjo, M. (2008). La evaluación de investigación en psicología. UNED

146 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 127-148.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 A. Espasa Roca; T. Guasch Pascual
¿Cómo implicar a los estudiantes para que utilicen el feedback online?

- Universidad Nacional de Educación a 111-123. [Link]

Distancia. 38.2018.1479373
Fredricks, J. A., Blumenfeld, P. C., y Paris, Guasch, T., y Espasa, A. (2020). Menos es
A. C. (2004). School Engagement: más: menos correcciones y más feedback
Potential of the Concept, State of the para aprender. En A. Sangrà (Coord.),
Evidence. Review of Educational Decálogo para la mejora de la docen-
Research 74(1): 59-109 [Link] cia online. Propuestas para educar en
org/10.3102/00346543074001059 contextos presenciales discontinuos (pp.
Fredricks, J. A., Wang, M., Schall Linn, 151-167). Editorial UOC. [Link]
J., Hofkens, T. L., Sung, H., Parr, A., y [Link]/webapps/o2/bitstre
Allerton, J. (2016). Using qualitative am/10609/122307/1/9788491807766_
methods to develop a survey measure of no_venal.pdf
math and science engagement. Learning Kirschner, P. A., y Hendrick, C. (2020). How
and Instruction, 43, 5-15. [Link] learning happens. Seminal works in
org/10.1016/[Link].2016.01.009 educational psychology and what they
García Aretio, L. (2021). COVID-19 mean in practice. Routledge. [Link]
y educación a distancia digital: org/10.4324/9780429061523
preconfinamiento, confinamiento y López, V. M. (2006). El papel de la evaluación
posconfinamiento. RIED. Revista formativa en el proceso de convergencia
Iberoamericana de Educación a hacia el EEES. Análisis del estado de la
Distancia, 24(1), 09-32. [Link] cuestión y presentación de un sistema de
org/10.5944/ried.24.1.28080 intervención. Revista Interuniversitaria
Gibbs, G., y Simpson, C. (2009). Condiciones de Formación del Profesorado, 20(3), 93-
para una evaluación continuada 119.
favorecedora del aprendizaje. Cuadernos O’Donovan, B., Rust, Ch., y Price, M. (2015).
de Docencia Universitaria num 13. A scholarly approach to solving the
ICE de la Universitat de Barcelona. feedback dilemma in practice. Assessment
Editorial Octaedro. [Link] and Evaluation in Higher Education,
net/2445/144983 41(6), 938-949. [Link]
Gikandi, J. W., Morrow, D., y Davis, N. E. 02602938.2015.1052774
(2011). Online formative assessment Pintrich, P. R., y De Groot, E. V. (1990).
in higher education: A review of the Motivational and Self-Regulated Learning
literature. Computers & Education, 57, Components of Classroom Academic
2333-2351. [Link] Performance. Journal of Educational
compedu.2011.06.004 Psychology, 82(1). 33-40. [Link]
Guasch, T., y Espasa, A. (2015). Collaborative org/10.1037/0022-0663.82.1.33
Writing Online: Unravelling the Price, M., Handley, K., y Millar, J. (2011).
Feedback Process. En M. Deane y T. Feedback: focusing attention on
Guasch (Eds.), Learning and Teaching engagement. Studies in Higher Education,
Writing Online: Strategies for 36(8), 879-896. [Link]
success (pp. 13–30). Brill. [Link] 03075079.2010.483513
org/10.1163/9789004290846_003 San Martín, S., Jiménez, N., y Jerónimo,
Guasch, T., Espasa, A., y Martinez-Melo, M. E. (2016). La evaluación del alumnado
(2019). The art of questioning in online universitario en el Espacio Europeo
learning environments: the potentialities de Educación Superior. Aula Abierta,
of feedback in writing. Assessment & 44, 7-14. [Link]
Evaluation in Higher Education, 44(1), aula.2015.03.003

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 127-148.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 147
 A. Espasa Roca; T. Guasch Pascual
¿Cómo implicar a los estudiantes para que utilicen el feedback online?

Steen-Utheima, A., y Wittek, A. L. (2017). A systematic review and a taxonomy

Dialogic feedback and potentialities for of recipience processes. Educational
student learning. Learning, Culture and Psychologist, 52(1), 17-3. [Link]
Social Interaction, 15, 18-30. [Link] 10.1080/00461520.2016.1207538
org/10.1016/[Link].2017.06.002 Winstone, N., y Carless, D. (2019).
UNESCO (2020). COVID-19 y educación Designing effective feedback processes
superior: De los efectos inmediatos in Higher Education. A learning focused
al día después. Análisis de impactos, approach. Routledge. [Link]
respuestas políticas y recomendaciones. org/10.4324/9781351115940
[Link] Zimmerman, B. J. (1990). Self-Regulated
content/uploads/2020/05/COVID-19- Learning and Academic Achievement:
[Link] An Overview. Educational Psychologist,
Winstone, N. E., Nash, R. A., Parker, M., y 25(1), 3-17. [Link]
Rowntree, J. (2017). Supporting learners’ s15326985ep2501_2
agentic engagement with feedback:

PERFIL ACADÉMICO Y PROFESIONAL DE LAS AUTORAS

Anna Espasa es profesora de los Estudios de Psicología y Ciencias de la

Educación de la Universitat Oberta de Catalunya (UOC). Actualmente dirige el Máster
Universitario de Psicopedagogía. Co-dirige el grupo de investigación Feed2Learn y
sus principales líneas de investigación se centran en el estudio de los procesos de
evaluación y feedback en los entornos virtuales de enseñanza y aprendizaje. https://
[Link]/0000-0001-5520-4973
E-mail: aespasa@[Link]

Teresa Guasch es Decana de los Estudios de Psicología y Ciencias de la

Educación de la Universitat Oberta de Catalunya (UOC). A nivel de investigación,
co-dirige el grupo de investigación Feed2Learn y su foco de investigación está en
los procesos de enseñanza y aprendizaje, las ayudas educativas (e-feedback) y la
escritura como herramienta para el aprendizaje en entornos virtuales. [Link]
org/0000-0001-5767-1428
E-mail: tguaschp@[Link]

DIRECCIÓN DE LAS AUTORAS

Estudios de Psicología y Ciencias de la Educación
Universitat Oberta de Catalunya España
Rambla del Poblenou, 156, 08018, Barcelona.

Fecha de recepción del artículo: 15/12/2020

Fecha de aceptación del artículo: 12/02/2021
Fecha de aprobación para maquetación: 28/02/2021

148 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 127-148.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
I.S.S.N.: 1138-2783

Peer Assessment as a Tool to Enhance

Pre-Service Primary Bilingual Teachers’
Training
(La evaluación entre iguales para mejorar la formación
inicial de maestros bilingües de Educación Primaria)

Cristina A. Huertas-Abril
Francisco Javier Palacios-Hidalgo
María Elena Gómez-Parra
Universidad de Córdoba (España)

DOI: [Link]

How to reference this article:

Huertas-Abril, C. A., Palacios-Hidalgo, F. J., & Gómez-Parra, M. E. (2021).
Peer Assessment as a Tool to Enhance Pre-Service Primary Bilingual Teachers’
Training. RIED. Revista Iberoamericana de Educación a Distancia, 24(2),
pp. 149-168. [Link]

Abstract

Peer assessment (PA) has proven to promote motivation towards learning and reduce
anxiety while fostering critical thinking. However, there is limited research on pre-service
teachers’ perceptions and concerns regarding its application in their lessons, and hardly any
study addresses the opinions of pre-service primary bilingual teachers. This paper presents a
mixed-methods research that investigated how pre-service primary bilingual teachers analyse
PA after a teaching experience using video-teaching. After an initial exploratory stage based
on the Grounded Theory, semantic and content analyses were carried out. The qualitative
analysis of the data was performed with NVivo Plus version 12 for Windows, which also
allowed the transformation of the results into quantitative data. Results showed that the
participants had a very positive attitude towards PA, emphasizing that this type of assessment
helps them improve their teaching performance. Other strengths of PA identified were that
it is a useful technique for their future careers, and they can learn from mistakes. Although
the participants also mentioned a series of concerns regarding PA, their reluctance to change
their practice could be easily overcome, as they would be familiar with this technique prior to
beginning their professional careers. Finally, considerations and recommendations to apply
PA in pre-service primary bilingual teacher training by using video-teaching are discussed.

Keywords: evaluation; teacher education; bilingual education.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 149-168.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 149
 C. A. Huertas-Abril; F. J. Palacios-Hidalgo; M. E. Gómez-Parra
Peer Assessment as a Tool to Enhance Pre-Service Primary Bilingual Teachers’ Training

Resumen

La evaluación entre iguales tiene numerosas ventajas, pues se ha demostrado que

promueve la motivación hacia el aprendizaje y reduce la ansiedad, a la vez que fomenta el
pensamiento crítico. Sin embargo, hay pocas investigaciones sobre las percepciones de los
maestros en formación con respecto a su aplicación y son muy limitados los estudios que
consideran a los maestros bilingües de Educación Primaria en formación. Este trabajo presenta
una investigación de métodos mixtos que aborda cómo los maestros bilingües de Educación
Primaria en formación analizan la evaluación entre iguales tras una experiencia docente
empleando enseñanza en vídeo. Tras una primera fase inicial exploratoria basada en la Teoría
Fundamentada, se llevaron a cabo análisis semánticos y de contenido. El análisis cualitativo
de los datos se realizó con NVivo Plus (versión 12 para Windows), herramienta que también
permitió la transformación de los resultados en datos cuantitativos. Los resultados reflejan
que los participantes tienen una actitud muy positiva hacia la evaluación entre iguales, y
destacan que este tipo de evaluación les ayuda a mejorar su rendimiento. Otros puntos fuertes
de la evaluación entre iguales fueron que se trata de una técnica útil para su futuro profesional
y que les permite aprender de los errores. Aunque los participantes también mencionaron una
serie de preocupaciones respecto a la evaluación entre iguales, las posibles reticencias podrían
superarse fácilmente, ya que estarían familiarizados con esta técnica antes de comenzar su
carrera profesional. Finalmente, se presenta una serie de consideraciones y recomendaciones
para aplicar la evaluación entre iguales mediante la docencia en vídeo en la formación inicial
de maestros bilingües de Educación Primaria.

Palabras clave: evaluación; formación de profesores; enseñanza bilingüe.

Citizens of the 21st century are required to be highly critical thinkers (Saleh,
2019). In this light, improving critical thinking skills, sine qua non for knowledge
development, has become key at schools (Chien et al., 2020). But not only is critical
thinking required for students, but also for teachers since they must be prepared for
their professional practice as educators of the new generations as well as for turning
their students into critical thinkers (Lorencová et al., 2019).
Among the pedagogical possibilities to develop critical thinking, Peer Assessment
(PA) is an activity with many educational benefits for students (Panadero & Alqassab,
2019) such as increasing motivation towards learning and reducing anxiety
(Yastıbaş & Yastıbaş, 2015), higher academic performance (Dochy et al., 1999), and
gaining domain-specific skills (van Zundert et al., 2010). PA is a strategy in which
an individual is engaged in evaluating “the level, value, or quality of a product or
performance of other equal-status learners” (Topping, 2009, pp. 20-21). Research
has shown the manifold pedagogical, motivational, professional and cognitive
benefits of PA (e.g., Adachi et al., 2018; Chien et al., 2020; Huisman et al., 2018;
Yastıbaş & Yastıbaş 2015). Basically, PA enhances the learning of self-monitoring
metacognitive processes, and in the case of teachers it has been demonstrated that

150 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 149-168.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 C. A. Huertas-Abril; F. J. Palacios-Hidalgo; M. E. Gómez-Parra
Peer Assessment as a Tool to Enhance Pre-Service Primary Bilingual Teachers’ Training

those educators who use PA outperform their counterparts in terms of innovative

and effective understandings of assessment (Ng, 2016).
Literature has explored the potential of technology for PA in teacher education
(Ng, 2016; Seifert & Feliks 2018) and, among all the possible tools, video-based PA
offers a promising alternative to face-to-face feedback and reflection sessions as it
does not require the physical presence of assessment experts (Chien et al., 2020;
Nisbet et al., 2017; Prilop et al., 2020). Despite the benefits of PA as a tool to enhance
students’ learning through knowledge spreading, exchange of ideas, and opening
to new perspectives, up to our knowledge there is limited research on pre-service
teachers’ perceptions and concerns regarding its application in their lessons (Ng,
2016; Sahin-Taskin, 2018; Seifert & Feliks 2018), yet hardly any study addresses the
opinions of pre-service primary bilingual teachers.
This paper presents a mixed-methods research that investigated how pre-
service primary bilingual teachers analyse PA after a teaching experience based
on video-teaching carried out during the academic year 2019/20. The objective of
this research is to explore the perceptions, attitudes and concerns regarding PA of
pre-service primary bilingual teachers (N = 58) of the course ‘English as a Foreign
Language for Primary Education Teachers’, bilingual itinerary, of the University of
Córdoba, Spain.

THEORETICAL BACKGROUND

Peer assessment explored effects

A variety of definitions of PA can be found in scientific literature (Dochy et al.,

1999; Topping, 2009). Nevertheless, for the purpose of this paper, PA is defined as
the process by which students give descriptive and constructive feedback on the work
of their fellows, which can be then expressed by a combination of numerical grades
and qualitative feedback. Following Panadero and Alqassab (2019), we consider a
variety of synonyms under this definition, including peer feedback, peer review, peer
evaluation and peer grading (differences between these terms are discussed in van
Gennip, 2012, among others). According to Adachi et al. (2018), PA takes places
in settings and activities that involve: (i) decisions concerning the use of PA; (ii)
link between PA and other educational elements; (iii) interaction between peers; (iv)
composition of assessment groups; (v) management of the assessment procedure;
and (vi) contextual elements.
There is ample debate about the potential of PA for students’ learning process. PA
seems to bring new opportunities for learners to develop transferable skills such as
collaborative work and critical thinking (Adachi et al., 2018), and problem-detection
and problem-solving abilities (Huisman et al., 2018). It also allows students to re-
conceptualise previous knowledge and use it constructively (i.e., not only do they
enhance their reflective skills to help their peers, but also to realise the limitations of

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 149-168.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 151
 C. A. Huertas-Abril; F. J. Palacios-Hidalgo; M. E. Gómez-Parra
Peer Assessment as a Tool to Enhance Pre-Service Primary Bilingual Teachers’ Training

their own work), therefore improving their learning outcomes and motivation (Chien
et al., 2020). Moreover, in the field of language learning, learners also experience a
decrease in their learning anxiety (Chien et al., 2020; Yastıbaş & Yastıbaş, 2015) and
see their abilities improved (speaking – Chang & Lin, 2019; writing – Huisman et
al., 2018).
It must be taken into account that anonymity is an important component when
describing interactions among peers. Anonymity can be bidirectional (both the
assessor and the assessee are anonymous) or unidirectional (either the assessor or
the assessee is anonymous). Research has proved that anonymity is one of PA’s main
advantages because it reduces stakeholders’ stress while allowing learners to express
their opinions freely (Seifert & Feliks 2018). Likewise, it entails the improvement
of students’ individual engagement and participation, since individuals may also
observe and imitate what their peers do or have done (Chien et al., 2020). As for
technology-based PA, it supports the learning process of autonomous learners (Ng,
2016), and eventually it also allows “reflective knowledge building” (Huisman et al.,
2018, p. 956).
PA, however, presents some challenges and barriers. Some scholars (e.g., Adachi
et al., 2018) agree on the fact that students’ distrust and shortage of confidence due
to their inexperience may hinder positive results when implementing PA. In this
sense, some learners may value experts’ evaluation more highly than that made by
their peers (Seifert & Feliks, 2018), which may not even be taken seriously due to
a lack of consistency between the expert and their equals. Besides, some learners
and teachers involved in it claim that PA is more time-consuming and demanding
than more traditional ways of evaluation (Ng, 2016). All in all, there is a clear need
for educators to thoroughly discuss assessment criteria and be very clear of what
learners are expected to do before implementing PA so as to guarantee a positive
experience (Seifert & Feliks 2018).

Teachers, peer assessment and beliefs

Many studies have stated the benefits of implementing PA for teachers. Educators
who use this assessment strategy outperform their counterparts in terms of innovative
understandings of assessment (Ng, 2016). Additionally, PA helps develop better
teacher-student communication about the learning process, and although educators
believe implementing it is often hard due to time requirements, they tend to think it
is beneficial for students (Büyükkarcı, 2014). But despite the benefits and the many
studies that support the effectiveness of PA (Chien et al., 2020; Li et al., 2020), little
research has explored teachers’ opinions about the appropriateness of PA (Panadero
& Brown 2017) and even less has examined the perceptions and concerns of pre-
service teachers in this regard (Sahin-Taskin, 2018; Seifert & Feliks, 2018).
Adachi et al. (2018) distinguish 5 main challenges identified by teachers when
implementing PA in the Australian context: (i) time and cost; (ii) learners’ motivation

152 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 149-168.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 C. A. Huertas-Abril; F. J. Palacios-Hidalgo; M. E. Gómez-Parra
Peer Assessment as a Tool to Enhance Pre-Service Primary Bilingual Teachers’ Training

when the assessment criteria are not clear; (iii) superficiality of the given feedback;
(iv) students’ lack of feedback skills; and (v) the difficulty to adapt PA to an online
environment. In this sense, it is interesting to highlight that Panadero and Brown
(2017) find that PA is not frequently used in the Spanish setting because teachers
believe that it is unreliable due to students’ distrust and that it usually creates a
negative learning climate.
As for pre-service teachers, Ng (2016) develops a questionnaire-based
quantitative study to show how they believe PA positively changes their perceptions
of assessment (Msiza et al., 2020) and the way they value their educators. Likewise,
Sahin-Taskin (2018) studies the effects of PA on pre-service teachers’ pedagogical
beliefs and the self-efficacy and reveals that they think that PA makes them better
teachers and that it allows them to enhance their students’ independence and
reflective practice. However, when it comes to pre-service primary bilingual teachers
and PA application in their lessons, up to our knowledge there is limited research on
their perceptions.

Video-based peer assessment

The use of video in PA is increasingly acquiring relevance in scientific literature

(Chien et al., 2020; Prilop et al., 2020). As pointed by Nisbet et al. (2017), the
affordability of video recording devices and their pedagogical benefits (e.g.,
development of critical thinking and problem-solving skills) have enhanced its use
in many and varied educational scenarios and also for PA.
In their study, Chien et al. (2020) combine video-based virtual reality and PA to
provide high-school students with comments on their speaking performance in an
English-language classroom. The experience reveals that learners’ oral performance,
motivation and thinking skills improve when using PA, whereas learning anxiety
decreases. This study also shows that, while praise feedback helps students enhance
their performance, criticism seems to be prejudicial. Conversely, Nikolic et al. (2018)
study the impact of video in PA to evaluate engineering students’ oral presentation
skills. According to their findings, although students believe that PA is beneficial
for them, the experience did not result in significantly better oral presentation skills
(presumably because the activity was not considered for the subject’s final grade). In
this sense, further research on the potential of video-based PA seems to be necessary.
Concerning pre-service teachers, Prilop et al. (2020) examine the potential of
video-based PA for developing future teachers’ feedback competence. In this study,
participants had to provide written feedback after watching videos of their peers
teaching in fictitious situations; video-based PA proved to bring better effects, be
more specific and provide higher quality recommendations than traditional face-to-
face PA.
Finally, Díaz-Martín and Gómez-Parra (2019) developed and validated an
observation guide to pre-service teachers for evaluating videos from CLIL (Content

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 149-168.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 153
 C. A. Huertas-Abril; F. J. Palacios-Hidalgo; M. E. Gómez-Parra
Peer Assessment as a Tool to Enhance Pre-Service Primary Bilingual Teachers’ Training

and Language Integrated Learning) lessons, the European approach to bilingual

education, although it can also be useful for other types of bilingual education. Their
observation guide has 5 categories and 16 subcategories structured as follows: (i)
adaptation of the language and the content according to the level (3 subcategories);
(ii) focus on the meaning (3 subcategories); (iii) focus on language forms (5
subcategories); (iv) lesson plan (4 subcategories); and (v) reflection (1 subcategory).

METHODS

An exploratory mixed-method study was carried out to understand and analyse

pre-service primary bilingual teachers’ perceptions, attitudes and concerns regarding
PA after an on-line teaching experience based on video-teaching.

Participants

The target population of this study was composed of the students of the course
‘English as a Foreign Language for Primary Education Teachers’, bilingual itinerary,
of the University of Córdoba, Spain. Three groups of students can be identified
within this population: (i) Year 3 students of the Degree in Primary Education (PS);
(ii) Year 3 students of the Double Degree in Primary Education and English Studies
(DS); and (iii) Erasmus students (students participating in an EU student exchange
program) (ES).
A non-probabilistic sample based on convenience was used for participants (N
= 58). Eligibility criteria were based on proximity and participation in a PA teaching
experience based on video-teaching. The distribution of the participants according
to the three aforementioned groups was as follows: 35 PS (60.34%), 19 DS (32.76%),
and 4 ES (6.90%). Moreover, 46 (79.31%) of the participants were female, and 12
(20.69%) were male. The mean age was 21.16 years (range = 20–27; SD = 1.554).
The mean age of female participants (21.13, SD = 1.614) showed no statistically
significant differences (p > 0.05) with that of male participants (21.25, SD = 1.357).
Finally, regarding nationality, 54 participants (93.10%) were from Spain, while 2
participants (3.45%) were from Poland, 1 participant (1.72%) was from Austria, and
1 participant (1.72%) was from Finland.

Context and instrument

All the participants in the study took part in an on-line teaching experience in
which they had to record themselves in a 5-minute video explaining contents using
English as the language of instruction during the spring semester of the academic
year 2019-20, marked by the lockdown derived from the COVID-19 pandemic. After
that, they had to assess at least two videos made by their partners. The technique used

154 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 149-168.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 C. A. Huertas-Abril; F. J. Palacios-Hidalgo; M. E. Gómez-Parra
Peer Assessment as a Tool to Enhance Pre-Service Primary Bilingual Teachers’ Training

for PA was an online rubric which generated anonymised bulls-eye visuals (graphic
representations of final scores, together with specific feedback), which was given to
the authors of the videos together with written feedback. Finally, the participants
had to write an essay (150-200 words), which was the instrument used for data
collection. The instrument had three questions: (i) As a future bilingual teacher, what
do you think about peer assessment (that is, evaluating your partners’ work with the
aim to help them improve)? Is it useful or not? Why?; (ii) Do you think analysing
videos is a good way to assess the work of other teachers? Why? / Why not?; and (iii)
Do you think analysing videos made by other teachers can help you to reflect on your
own teacher practice? Given the standardization and identical wording of the three
questions posed, it allows a comparable analysis of the participants’ responses.

Data analysis

In order to gain preliminary understanding of the perceptions on PA, initially

a qualitative research methodology based on the Grounded Theory (GT) (Glaser &
Strauss, 1967) was used. “Grounded theory is based on the systematic generating of
theory from data, that itself is systematically obtained from social research” (Glaser,
1992, p. 2). It must be considered, according to Cresswell and Poth (1998, pp. 55-56),
that the intention underlining GT “is to generate or discover a theory, an abstract
analytical schema of a phenomenon that relates to a particular situation”.
Following GT, semantic and content analyses were performed. Although it was
initially developed for a quantitative approach (Berelson, 1952), later descriptions
emphasise that content analysis has experienced a significant evolution, moving
from a quantitative perspective to a more interpretative technique within the
qualitative paradigm (Schreier, 2012; Lindgren et al., 2014). Nowadays content
analysis is understood as a value-based process constituted by multiple realities,
and the creation and development of individual and multifaceted perceptions of
phenomena (Lincoln & Guba, 1985; Graneheim et al., 2017). Content analysis
involves replicability and inferences from the data obtained to the context, which
may entail the development of new approaches and the representation of facts,
and evidence about its applicability and validity must accompany the findings
(Krippendorff, 1980).
To carry out content analysis, we followed the steps proposed by Arbeláez
and Onrubia (2014): (i) theoretical phase, where the information is initially
organised, allowing a first approach to the research; (ii) descriptive phase, where
data are structured and analysed (in our case, by using semantic analysis); and (iii)
interpretative phase, where content analysis is interpreted according to the emerging
categories.
The qualitative analysis of the data was performed with NVivo Plus version
12 for Windows (QSR International 2020). This software allows operating with
several categories and subcategories that can be compared with each other thanks

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 149-168.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 155
 C. A. Huertas-Abril; F. J. Palacios-Hidalgo; M. E. Gómez-Parra
Peer Assessment as a Tool to Enhance Pre-Service Primary Bilingual Teachers’ Training

to the intersection matrices. This analysis also allowed it to transform the results
into quantitative data (percentages and frequencies). Finally, the quality criteria
established by Palacios et al. (2013) were also taken into account.

RESULTS

Coding results based on GT

Following the GT procedure (Glaser & Strauss, 1967), a mind map was created
after the coding and categorization process of the responses of the participants on
PA.
The explanation of the coding process was carried out attending to the topics
and contents gathered in the mind map, together with their corresponding
interrelations, definitions and a textual example for each category. Figure 1 shows
the final categorization of pre-service primary bilingual teachers’ attitudes, concerns
and perceptions on PA after a teaching experience based on video-teaching.

Figure 1
Mind map after the coding process based on GT

Source: Own elaboration

Semantic analysis

We used NVIVO 12 to design a semantic word cloud (Fig. 2) with the 100 most
frequent words found on the participants’ responses – it should be taken into
account that the greater the frequency, the larger the representation. The words
most frequently used by participants (frequency equal to or higher than 100 entries)
are: assessment (147), videos (116), peer (115), and teachers (100).

156 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 149-168.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 C. A. Huertas-Abril; F. J. Palacios-Hidalgo; M. E. Gómez-Parra
Peer Assessment as a Tool to Enhance Pre-Service Primary Bilingual Teachers’ Training

Figure 2
Word frequency represented in a word cloud (100 most frequent words)

Source: Own elaboration

Moreover, the most frequent words among the participants were also compared,
and cluster analysis was performed (Bazeley, 2012). This allowed a first grouping of
the codes or nodes according to their relationships, creating a cluster analysis (Fig.
3). This semantic analysis allows to establish the initial categorization for further
content analysis.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 149-168.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 157
 C. A. Huertas-Abril; F. J. Palacios-Hidalgo; M. E. Gómez-Parra
Peer Assessment as a Tool to Enhance Pre-Service Primary Bilingual Teachers’ Training

Figure 3
Cluster analysis

Source: Own elaboration

Content analysis

Table 1 shows the three main categories identified after data analysis: (i)
perceived advantages of PA by pre-service primary bilingual teachers; (ii) perceived
limitations and concerns regarding PA by pre-service primary bilingual teachers;
and (iii) recommendations and suggestions to use PA.

Table 1
Categorization after data analysis

Categories No. of participants Coded entries %

Perceived advantages 58 517 91.02
Perceived limitations and concerns 58 45 7.92
Recommendations and suggestions 58 6 1.06
Total 58 568 100
Source: Own elaboration

158 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 149-168.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 C. A. Huertas-Abril; F. J. Palacios-Hidalgo; M. E. Gómez-Parra
Peer Assessment as a Tool to Enhance Pre-Service Primary Bilingual Teachers’ Training

Similarly, the number of entries (both in frequency and percentage) by

subcategory was extracted, and the hierarchy is the following:

• Perceived advantages: 91.02% (517)

▪ General advantages: 79.4% (451)
▪ Advantages related to the use of video-teaching: 11.62% (66)

• Perceived limitations and concerns: 7.92% (45)

▪ General limitations and concerns: 2.64% (15)
▪ Limitations and concerns related to video-teaching: 5.28% (30)

• Recommendations and suggestions considering video-teaching: 1.06% (6)

In the subcategory entitled general advantages a total of 451 entries was coded.
The participants highlighted with 14.63% (n=66) that it improves their teaching
performance as the top strength of PA perceived by pre-service primary bilingual
teachers.
“Teachers must evaluate themselves periodically, in order to improve their
teaching skills and make the teaching-learning process as easy as possible for the
students” – Participant 17
Furthermore, 11.97% (n=54) of the participants mentioned it is a useful technique
for their future as teachers.
“Peer assessment is very useful in several ways, it can help you to see what you
can improve in your work and what you may not be doing well” – Participant 16
“Talking from the perspective of a future teacher, peer assessment is a very useful
method in order to learn about new resources, methodologies and techniques than
can be really beneficial in the teaching-learning process” – Participant 30
Other strengths mentioned as part of this subcategory included: they can learn
from mistakes (9.31%, 42 entries), it is an opportunity to learn from others (6.87%, 31
entries), it provides relevant feedback (6.65%, 30 entries), it enhances reflection on
their own teaching practice (5.99%, 27 entries), it is inspiring and brings new ideas
(4.88%, 22 entries), it helps partners (3.77%, 17 entries) and it is good for both the
person who assesses and the person who receives the assessment (3.77%, 17 entries).
“Teachers must evaluate themselves periodically, in order to improve their
teaching skills and make the teaching-learning process as easy as possible for the
students. For this reason, I consider peer assessment crucial when it comes to helping
other partners, as both parts are learning and contributing to the improvement of
the teaching-learning process.” – Participant 17
“On many occasions it is said that between partners they understand each other
better because they have the same cognitive capacity and can help each other more
effectively (…) they have a more similar language so if they tell their classmates what
they should improve, they will surely understand it better.” – Participant 25

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 149-168.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 159
 C. A. Huertas-Abril; F. J. Palacios-Hidalgo; M. E. Gómez-Parra
Peer Assessment as a Tool to Enhance Pre-Service Primary Bilingual Teachers’ Training

Although with a more limited number of entries, it is also interesting to highlight

that the participants also mentioned that PA is an enriching experience (3.55%,
16 entries), gives new perspectives and broads minds (3.33%, 15 entries), fosters
collaboration (2.88%, 13 entries), encourages critical thinking (2.44%, 11 entries),
and participants get more involved in the task (2.44%, 11 entries).
“…when we assess our colleagues’ videos, we open our mind to different and new
ways of teaching, so we can reflect about whether our teaching practice is adequate
or not, and adjust it to what we have discovered.” – Participant 11
Focusing on the subcategory of advantages related to the use of video-teaching,
a total of 66 entries were coded. Pre-service primary bilingual teachers participating
in the study emphasise that PA using video-teaching is a good way to assess others
(21.21%, 14 entries).
“Analysing videos is very suitable to assess the work of other teachers because
since you have to execute both tasks [creating and assessing videos], when you make
the video you will be very interested in making it perfect to receive good feedback.”
– Participant 23
Moreover, PA using video-teaching is useful to assess the ability to communicate
(15.15%, 10 entries), repeating videos helps PA (10.61%, 7 entries), and they can
assess creativity and originality (10.61%, 7 entries), the use of ICT (9.09%, 6 entries),
and the oral skills in the foreign language (6.06%, 4 entries).
“Analysing educational videos is a great way of assessing other teachers’ work,
due to the fact that it is an opportunity to evaluate the speech, the contents, the
resources, etc. while having the opportunity to watch the video as many times as
needed.” – Participant 30
Another subcategory identified in the study was general limitations and
concerns of PA, where a total of 15 entries were coded. The participants showed
mainly their concern with ‘hurting’ their peers (40.0%, 6 entries), followed by the
lack of objectivity (33.33%, 5 entries), the concern that some people may not accept
criticism (13.33%, 2 entries), their lack of experience on PA (6.67%, 1 entry), and the
complexity of the task (6.67%, 1 entry).
“However, there might be some people that are a bit reluctant about this way of
working. They may believe that this learning strategy could confront people because
of how they face criticism.” – Participant 30
The fourth category of this study was limitations and concerns related to video-
teaching, where 30 entries were coded. The most repeated concerns noted by the
participants was that teacher-student interaction cannot be assessed (18.18%, 6
entries), and some elements like body language cannot be assessed either (18.18%, 6
entries). Moreover, the participants also highlighted other limitations and concerns,
including that it requires previous preparation (12.12%, 4 entries), interaction among
students cannot be assessed (9.09%, 3 entries), there is no improvisation (9.09%,
3 entries), they feel the pressure of the peers when recording to be peer assessed

160 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 149-168.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 C. A. Huertas-Abril; F. J. Palacios-Hidalgo; M. E. Gómez-Parra
Peer Assessment as a Tool to Enhance Pre-Service Primary Bilingual Teachers’ Training

(6.06%, 2 entries), they may have limited time in a limited format (6.06%, 2 entries),
and there may be a lack of emotional component (3.03%, 1 entry).
“A video is not a good way to assess the work of teachers in most of the cases due
to the numerous times they can record it, and also teachers can read the content.
Besides, the worst thing is that students cannot see nonverbal language, so it
produces a lack of understanding.” – Participant 45
Finally, the last category is entitled recommendations and suggestions, with a
total of 6 coded entries. A total of 3 entries (50%) suggest that it is better that PA
is anonymous to avoid conflicts. Moreover, other remarks are that it is necessary
to combine videos with other types of assessment (33.33%, 2 entries), and it can
complement face-to-face assessment (16.67%, 1 entry).
“But a point I would remark would be the anonymity of this [peer assessment],
as it can create conflict between them [partners] in some situations.” – Participant 8

DISCUSSION

The current study analysed the responses of 58 pre-service primary bilingual

teachers of the University of Córdoba (Spain) to elicit their perceptions, attitudes
and concerns regarding PA. The results showed their interest and positive attitude
towards PA as a way to improve their teaching performance. This perception is
actually corroborated through research, as Sluijsmans et al. (2002) found that pre-
service teachers who use PA outperform their peers that do not utilise it.
The participants also believed that PA was a very useful experience and technique,
which is in line with previous research (Planas et al., 2014). Some respondents also
highlighted that using videos for PA was a good way to evaluate their classmates as
they could pay more attention to all the details in order to provide more detailed
feedback. However, and despite the usefulness of PA for some students, we should
be cautious: “whilst formative peer assessment can be a useful strategy for some
students, it does not work as a strategy for all students and therefore cognisance of
developing a range of methods of engaging students in the assessment process is
required” (Vickerman, 2009, p. 226).
Contrariwise to previous research (e.g., Bryant & Carless, 2010; Papinczak et al.,
2007), the respondents considered that PA provided them with relevant feedback,
as their fellows had also done the same task and had a closer understanding of the
difficulties they may have encountered: “I think peer assessment is very effective
because the person sees another approach, another solution (…) many times people
understand things better with the explanation of our peers than with that of another
person from a different environment.” – Participant 36; “It is really useful to know the
opinion of a person that is at the same level as you and deals with similar situations
because we get reciprocity and constructive feedback with the only objective of
improving.” – Participant 53.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 149-168.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 161
 C. A. Huertas-Abril; F. J. Palacios-Hidalgo; M. E. Gómez-Parra
Peer Assessment as a Tool to Enhance Pre-Service Primary Bilingual Teachers’ Training

Furthermore, the high percentage of teachers’ positive attitudes could increase

the possibility of using PA as a part of their future teaching performance, as Panadero
and Brown (2017) suggested. Moreover, being the participants of this study pre-
service teachers, the obstacles to use PA identified by Zhao (2018) regarding
teachers’ reluctance to change their practice could be easily overcome, as they would
be familiar with this technique prior to begin their professional careers.
The main concern stated by the participants was the fear of hurting their peers,
which is a common issue when analysing attitudes towards PA (e.g., Arnold et al.,
2005; Pope, 2005). According to Chien et al. (2020), criticism feedback seems to
be prejudicial for students’ performance, which may explain why our sample is
especially concerned with not hurting their peers emotionally. This perception is
connected to the fact that classmates may not accept criticism, situation that could
incur a peer’s anger or disrupt relationships among teammates. The respondents
were also worried about their lack of experience and the perceived complexity of PA,
limitations that have also been identified in previous research (e.g., Moorthy et al.,
2006; Ward et al., 2003). Moreover, and although seen as a secondary component
of this research, the respondents also remarked some limitations that PA based on
videos may have (i.e., lack of interaction, difficulties to assess body language, lack of
the emotional component of teaching).
Finally, pre-service primary bilingual teachers need to develop a comprehensive
understanding of PA as a tool to facilitate learning. This is essential due to recurrent
anxiety towards PA (Topping, 2009), and discomfort when having their work
evaluated by a peer (Hanrahan & Isaacs 2001). In order to avoid this initial reluctance,
which can be due to the lack of experience on PA, a series of recommendations could
be considered for pre-service primary bilingual teachers, namely:

• Emphasising that PA fosters personal responsibility (Topping, 2009).

• Explaining the assessment instruments prior to the PA process (Vickerman,
2009) and analysing a case together to clarify the assessment criteria (Sluijsmans
et al., 2002).
• Unidirectional anonymity, by anonymising the assessors in PA (Vickerman,
2009), as a potential way to reduce peer pressure and fear of disapproval
(Vanderhoven et al., 2015).
• Facilitating that at least two peers assess the tasks in cases of one-way PA (Planas
et al., 2014), assigned in a randomised basis.
• Appealing to their future careers as teachers.

Furthermore, teacher training should foster the use of PA in order to avoid

general learners’ mistrust, which has been reported at different levels and across
different educational contexts, including Spain (Planas et al., 2014). Despite their
lack of confidence or the higher value given to the teacher’s assessment (Ballantyne
et al., 2002), it must be borne in mind that previous studies highlight that pre-service

162 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 149-168.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 C. A. Huertas-Abril; F. J. Palacios-Hidalgo; M. E. Gómez-Parra
Peer Assessment as a Tool to Enhance Pre-Service Primary Bilingual Teachers’ Training

teachers who utilise PA outperform their counterparts who do not use it, and this
experience may also change their perceptions regarding instruction and assessment
(Sluijsmans et al., 2002).

CONCLUSION

Nowadays, it is generally assumed that the assessment process must shift from
being primarily unidirectional (i.e., from teachers to students) to multidirectional
(including peer-to-peer and self-assessment), which entails that learners should
be responsible for both their own learning and assessment processes (Ng, 2016).
Considering that the use of PA is context dependant, and distinct techniques and
strategies need to be discussed considering local and national systemic realities,
the current study has explored Spanish pre-service primary bilingual teachers’
perceptions on PA, revealing remarkable positive attitudes. Nevertheless, further
studies should be developed especially in the field of bilingual teacher training due
to their specific and complex features.
The findings presented in this paper should be interpreted in the light of two
limitations. First, due to the nature of an exploratory study, as a starting point,
only teachers located in one context, Faculty of Education of the University of
Córdoba, were considered as target population. Consequently, the findings may not
be applicable to other participants located in different contexts or with different
backgrounds. Future research should consider recruiting participants from different
institutions, countries and sociocultural contexts so comparisons with the current
research could be performed. Second, the qualitative findings were only based on
self-reported data, so they may be affected by respondents’ subjective opinions about
the topic. For this reason, future studies should also consider obtaining data through
additional sources (e.g., questionnaires, focus groups, observations) in order to
obtain more reliable data.
This study explored Spanish pre-service primary bilingual teachers’ perceptions,
attitudes and concerns regarding PA as a complementary tool for their teaching-
learning processes. We consider that PA provides students with opportunities
of learning not only from what other peers do, but also from the own process of
evaluating other peers’ work, which may improve their training as teachers. In this
light and considering the scarce research regarding PA and bilingual education,
teacher trainers and researchers are encouraged to implement more PA activities to
acquire more insights about the effects of using PA for pre-service bilingual teacher
training.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 149-168.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 163
 C. A. Huertas-Abril; F. J. Palacios-Hidalgo; M. E. Gómez-Parra
Peer Assessment as a Tool to Enhance Pre-Service Primary Bilingual Teachers’ Training

ACKNOWLEDGEMENT

This paper was partially supported by the Spanish Ministry of Education

(Resolución de 5 de diciembre de 2017, de la Secretaría de Estado de Educación,
Formación Profesional y Universidades, por la que se convocan ayudas para la
formación de profesorado universitario, de los Subprogramas de Formación y
de Movilidad incluidos en el Programa Estatal de Promoción del Talento y su
Empleabilidad, en el marco del Plan Estatal de Investigación Científica y Técnica y
de Innovación 2013-2016).

REFERENCES

Adachi, C., Tai, J., & Dawson, P. (2018). A Berelson, B. (1952). Content Analysis in
Framework for Designing, Implementing, Communication Research. The Free
Communicating and Researching Peer Press.
Assessment. Higher Education Research Bryant, D. A., & Carless, D. R. (2010). Peer
and Development, 37(3), 453-467. Assessment in a Test-Dominated Setting:
[Link] Empowering, Boring or Facilitating
.1405913 Examination Preparation? Educational
Arbeláez, M., & Onrubia, J. (2014). Análisis Research for Policy and Practice, 9(1),
bibliométrico y de contenido. Dos 3-15. [Link]
metodologías complementarias para 009-9077-2
el análisis de la revista colombiana Büyükkarcı, K. (2014). Assessment Beliefs
Educación y Cultura. Revista de and Practices of Language Teachers
Investigaciones UCM, 14(23), 14-31. in Primary Education. International
[Link] Journal of Instruction, 7(1), 107-130.
Arnold, L., Shue, C. K., Kritt, B., Ginsburg, Chang, C., & Lin, H.-C. K. (2019). Effects of a
S., & Stern, D. T. (2005). Medical Mobile-Based Peer-Assessment Approach
Students’ Views on Peer Assessment of on Enhancing Language-Learners’ Oral
Professionalism. Journal of General Proficiency. Innovations in Education
Internal Medicine, 20(9), 819-824. and Teaching International: 1-12.
[Link] [Link]
1497.2005.0162.x 1612264
Ballantyne, R., Hughes, K., & Mylonas, Chien, S.-Y., Hwang, G.-J., & Jong, M. S.-Y.
A. (2002). Developing Procedures for (2020). Effects of Peer Assessment within
Implementing Peer Assessment in Large the Context of Spherical Video-Based
Classes Using an Action Research Process. Virtual Reality on EFL Students’ English-
Assessment & Evaluation in Higher Speaking Performance and Learning
Education, 27(5), 427-441. [Link] Perceptions. Computers and Education,
org/10.1080/0260293022000009302 146, 1-20. [Link]
Bazeley, P. (2012). Integrative analysis compedu.2019.103751
strategies for mixed data sources. Cresswell, J. W., & Poth, C. N. (1998).
American Behavioral Scientist, Qualitative Inquiry and Research Design.
56(6), 814-828. [Link] Choosing Among Five Traditions. Sage.
org/10.1177/0002764211426330

164 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 149-168.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 C. A. Huertas-Abril; F. J. Palacios-Hidalgo; M. E. Gómez-Parra
Peer Assessment as a Tool to Enhance Pre-Service Primary Bilingual Teachers’ Training

Díaz-Martín, C., & Gómez-Parra, M. E. A Meta-Analysis. Assessment and

(2019). Developing an Observation Guide Evaluation in Higher Education, 45(2),
to Pre-Service Teachers for Evaluating 193-211. [Link]
Videos from CLIL Lessons. In F. J. 938.2019.1620679
Palacios-Hidalgo (Ed.), Educación en Lincoln, Y. S., & Guba, E. G. (1985).
Contextos Plurilingües: Metodología e Naturalistic Inquiry. Sage. [Link]
Innovación / Education in Plurilingual org/10.1016/0147-1767(85)90062-8
Contexts: Methodology and Innovation Lindgren, B.-M., Sundbaum, J., Eriksson,
(pp. 93-97). UCOPress – Servicio de M., & Graneheim, U. H. (2014). Looking
Publicaciones de la Universidad de at the World through a Frosted Window:
Córdoba. Experiences of Loneliness among Persons
Dochy, F., Segers, M., & Sluijsmans, D. with Mental Ill-Health. Journal of
(1999). The Use of Self-, Peer and Co- Psychiatric and Mental Health Nursing,
Assessment in Higher Education: A 21(2), 114-120. [Link]
Review. Studies in Higher Education, jpm.12053
24(3), 331-350. [Link] Lorencová, H., Jarošová, E., Avgitidou,
03075079912331379935 S., & Dimitriadou, C. (2019). Critical
Glaser, B. (1992). Basics of Grounded Thinking Practices in Teacher Education
Theory Analysis: Emergence vs. Forcing. Programmes: A Systematic Review.
Sociology Press. Studies in Higher Education, 44(5), 844-
Glaser, B., & Strauss, A. (1967). The Discovery 859. [Link]
of Grounded Theory. Aldine Press. 2019.1586331
Graneheim, U. H., Lindgren, B.-M., & Moorthy, K., Munz, Y., Adams, S., Pandey, V.,
Lundman, B. (2017). Methodological Darzi, A., & Imperial College – St. Mary’s
Challenges in Qualitative Content Hospital Simulation Group. (2006).
Analysis: A Discussion Paper. Nurse Self-Assessment of Performance among
Education Today, 56, 29-34. [Link] Surgical Trainees during Simulated
org/10.1016/[Link].2017.06.002 Procedures in a Simulated Operating
Hanrahan, S. J., & Isaacs, G. (2001). Assessing Theater. The American Journal of
Self- and Peer-assessment: The Student’s Surgery, 192(1), 114-118. [Link]
Views. Higher Education Research & org/10.1016/[Link].2005.09.017
Development, 20(1), 53-69. [Link] Msiza, V., Zondi, T., & Couch, L. (2020).
org/10.1080/07294360123776 The Use of Peer Assessment at a Time of
Huisman, B., Saab, N., van Driel, J., & van Massification: Lecturers’ Perceptions in
den Broek, P. (2018). Peer Feedback a Teacher Education Institution. Journal
on Academic Writing: Undergraduate of Education, 79, 47-64. [Link]
students’ Peer Feedback Role, Peer org/10.17159/2520-9868/i79a04
Feedback Perceptions and Essay Ng, E. M. W. (2016). Fostering Pre-Service
Performance. Assessment and Evaluation Teachers’ Self-Regulated Learning
in Higher Education, 43(6), 955-968. through Self- and Peer Assessment of
[Link] Wiki Projects. Computers and Education,
.1424318 98, 180-191. [Link]
Krippendorff, K. (1980). Content Analysis: compedu.2016.03.015
An Introduction to its Methodology. Sage. Nikolic, S., Stirling, D., & Ros, M. (2018).
Li, H., Xiong, Y., Hunter, C. V., Guo, Formative Assessment to Develop Oral
X., & Tywoniw, R. (2020). Does Peer Communication Competency Using
Assessment Promote Student Learning? YouTube: Self-and Peer Assessment

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 149-168.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 165
 C. A. Huertas-Abril; F. J. Palacios-Hidalgo; M. E. Gómez-Parra
Peer Assessment as a Tool to Enhance Pre-Service Primary Bilingual Teachers’ Training

in Engineering. European Journal of Education, 30(1), 51-63. [Link]

Engineering Education, 43(4), 538–551. org/10.1080/0260293042003243896
[Link] Prilop, C. N., Weber, K. E., & Kleinknecht,
1298569 M. (2020). Effects of Digital Video-
Nisbet, G., Jorm, C., Roberts, C., Gordon, Based Feedback Environments on Pre-
C. J., & Chen, T. F. (2017). Content Service Teachers’ Feedback Competence.
Validation of an Interprofessional Computers in Human Behavior, 102,
Learning Video Peer Assessment Tool. 120-131. [Link]
BMC Medical Education, 17, 1-10. https:// chb.2019.08.011
[Link]/10.1186/s12909-017-1099-5 Sahin-Taskin, C. (2018). Effects of Active
Palacios, B., Sánchez, M. C., & Gutiérrez, Learning Environments Supported with
A. (2013). Evaluar la calidad en la Self-and Peer Assessment on Pre-Service
investigación cualitativa: Guías o Teachers’ Pedagogical and Self-Efficacy
checklists. Actas del 2º Congreso Nacional Beliefs. Asia-Pacific Journal of Teacher
sobre Metodología de la Investigación en Education, 46(5), 421-440. [Link]
Comunicación. [Link] org/10.1080/1359866X.2017.1355049
handle/10324/3014 Saleh, S. E. (2019). Critical Thinking
Panadero, E., & Alqassab, M. (2019). An as a 21st Century Skill: Conceptions,
empirical review of anonymity effects Implementation and Challenges in the
in peer assessment, peer feedback, peer EFL Classroom. European Journal of
review, peer evaluation and peer grading. Foreign Language Teaching, 4(1), 1-16.
Assessment & Evaluation in Higher Schreier, M. (2012). Qualitative Content
Education, 44(8), 1253-1278. [Link] Analysis in Practice. Sage.
org/10.1080/02602938.2019.1600186 Seifert, T., & Feliks, O. (2018). Online Self-
Panadero, E., & Brown, G. T. L. (2017). Assessment and Peer-Assessment as
Teachers’ Reasons for Using Peer a Tool to Enhance Student-Teachers’
Assessment: Positive Experience Predicts Assessment Skills. Assessment and
Use. European Journal of Psychology of Evaluation in Higher Education, 44(2),
Education, 32(1), 133-156. [Link] 169-185. [Link]
org/10.1007/s10212-015-0282-5 938.2018.1487023
Papinczak, T., Young, L., & Groves, M. Sluijsmans, D. M. A., Brand-Gruwel, S.,
(2007). Peer Assessment in Problem- & van Merriënboer, J. J. G. (2002).
Based Learning: A Qualitative Study. Peer Assessment Training in Teacher
Advances in Health Sciences Education, Education: Effects on Performance and
12(2), 169-186. [Link] Perceptions. Assessment & Evaluation in
s10459-005-5046-6 Higher Education, 27(5), 443-454. https://
Planas, A., Soley, L. F., Fraguell, R. M., [Link]/10.1080/0260293022000009311
Pujolras, G. A., Planella, J. P., Roura- Topping, K. J. (2009). Peer assessment.
Pascual, N., Suñol, J. J., & Moreno, L. Theory into Practice, 48(1), 20-27. https://
M. (2014). Student Perceptions of Peer [Link]/10.1080/00405840802577569
Assessment: An Interdisciplinary Study. van Gennip, N. (2012). Assessing together.
Assessment & Evaluation in Higher Peer assessment from an interpersonal
Education, 39(5), 592-610. [Link] perspective. (Doctoral Dissertation).
g/10.1080/02602938.2013.860077 Universiteit Leiden. [Link]
Pope, N. K. L. (2005). The Impact of org/10.1016/[Link].2009.08.004
Stress in Self- and Peer Assessment. van Zundert, M., Sluijsmans, D., & van
Assessment & Evaluation in Higher Merriënboer, J. (2010). Effective peer

166 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 149-168.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 C. A. Huertas-Abril; F. J. Palacios-Hidalgo; M. E. Gómez-Parra
Peer Assessment as a Tool to Enhance Pre-Service Primary Bilingual Teachers’ Training

assessment processes: Research findings & Regehr, G. (2003). Resident Self-

and future directions. Learning and Assessment of Operative Performance.
Instruction, 20(4), 270-279. [Link] The American Journal of Surgery,
org/10.1016/[Link].2009.08.004 185(6), 521-524. [Link]
Vanderhoven, E., Raes, A., Montrieux, S0002-9610(03)00069-2
H., Rotsaert, T., & Schellens, T. (2015). Yastıbaş, G. Ç., & Yastıbaş, A. E. (2015).
What if pupils can assess their peers The Effect of Peer Feedback on Writing
anonymously? A quasi-experimental Anxiety in Turkish EFL (English as a
study. Computers & Education, 81, Foreign Language) Students. Procedia,
123-132. [Link] 199, 530-538. [Link]
compedu.2014.10.001 sbspro.2015.07.543
Vickerman, P. (2009). Student perspectives Zhao, H. (2018). Exploring Tertiary English
on formative peer assessment: as a Foreign Language Writing Tutors’
an attempt to deepen learning? Perceptions of the Appropriateness of
Assessment & Evaluation in Higher Peer Assessment for Writing. Assessment
Education, 34(2), 221-230. [Link] & Evaluation in Higher Education, 43(7),
org/10.1080/02602930801955986 1133-1145. [Link]
Ward, M., MacRae, H., Schlachta, C., 2938.2018.1434610
Mamazza, J., Poulin, E., Reznick, R.,

ACADEMIC AND PROFESSIONAL PROFILE OF THE AUTHORS

Cristina A. Huertas-Abril. Profesora Titular de la Universidad de

Córdoba, España. Licenciada en Traducción e Interpretación por la Universidad
de Córdoba y Graduada en Estudios Ingleses por la UNED. Máster en Traducción
Especializada (Inglés/Francés/Alemán-Español). Doctora en Lenguas y Culturas
por la Universidad de Córdoba, España (Premio Extraordinario). Líneas de trabajo:
aprendizaje de lenguas asistido por ordenador (CALL), enseñanza del inglés como
lengua extranjera, educación bilingüe y formación de profesorado. [Link]
org/0000-0002-9057-5224
E-mail: [Link]@[Link]

Francisco Javier Palacios-Hidalgo. Contratado FPU y doctorando en la

Universidad de Córdoba, España. Graduado en Educación Primaria (mención: lengua
extranjera: inglés) y Máster en Estudios Ingleses Avanzados por la Universidad de
Córdoba. Líneas de trabajo: enseñanza-aprendizaje de segundas lenguas, educación
bilingüe y tecnología educativa. [Link]
E-mail: [Link]@[Link]

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 149-168.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 167
 C. A. Huertas-Abril; F. J. Palacios-Hidalgo; M. E. Gómez-Parra
Peer Assessment as a Tool to Enhance Pre-Service Primary Bilingual Teachers’ Training

María Elena Gómez-Parra. Profesora Titular de la Universidad de Córdoba,

España. Licenciada en Filología Inglesa por la Universidad de Granada. Máster en
Educación a Distancia por la UNED. Doctora en Filología Inglesa por la Universidad
de Córdoba. Líneas de trabajo: aprendizaje de lenguas asistido por ordenador
(CALL), educación bilingüe, educación intercultural y formación del profesorado.
[Link]
E-mail: [Link]@[Link]

ADDRESS
Facultad de Ciencias de la Educación, Universidad de Córdoba
Avda. San Alberto Magno, sn.
14071 Córdoba (España)

Date of receipt: 27/10/2020

Date of acceptance: 12/02/2021
Date of layout: 25/02/2021

168 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 149-168.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
I.S.S.N.: 1138-2783

La evaluación de la educación virtual: las

e-actividades
(The Evaluation of Virtual Education: e-Activities)

Julio Cabero-Almenara
Antonio Palacios-Rodríguez
Universidad de Sevilla (España)

DOI: [Link]

Cómo referenciar este artículo:

Cabero-Almenara, J., y Palacios-Rodríguez, A. (2021). La evaluación de la
educación virtual: las e-actividades. RIED. Revista Iberoamericana de Educación
a Distancia, 24(2), pp. 169-188. [Link]

Resumen

Una de las fases del proceso de instrucción que menos cambios ha sufrido a lo largo
de la historia ha sido la de la evaluación. En un contexto virtual, una de las preocupaciones
que muestran los docentes respecto a la evaluación se relaciona con las problemáticas de su
implementación y la vertebración de diferentes e-actividades. Por e-actividades se entienden
todas las tareas desarrolladas por el estudiante de forma individual o colectiva en un entorno
digital, y que están destinadas a obtener un aprendizaje específico. Son, por tanto, el vínculo
que une la enseñanza y el aprendizaje en la denominada Sociedad del Conocimiento. En esta
línea, este artículo trata de realizar una panorámica por el fenómeno de las e-actividades
dentro de los entornos virtuales de aprendizaje. Para ello, realiza una síntesis de los principales
estudios sobre el tema en cuanto a definición, tipología, selección y análisis. Los resultados
ofrecen un recorrido que avala la importancia de estos recursos como objetos de aprendizaje
auténtico. Por este motivo, es necesario que los docentes desarrollen competencias en cuanto a
su selección, creación, modificación y evaluación. En esta línea, se esbozan diferentes criterios
a tener en cuenta y que se pueden movilizar para el desarrollo de dichas competencias clave.

Palabras clave: educación virtual; evaluación; e-actividades; formación del profesorado;

competencia digital docente.

Abstract

One of the phases of the instructional process that has undergone minor changes
throughout history has been that of evaluation. In a virtual context, one of the concerns that
teachers show regarding evaluation is related to the problems of its implementation and the

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 169-188.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 169
 J. Cabero-Almenara; A. Palacios-Rodríguez
La evaluación de la educación virtual: las e-actividades

design, organisation and eventually implementation of different e-activities. By e-activities

we understand all the tasks developed by a student individually or collectively in a digital
environment, and which are intended to obtain specific learning. They are, therefore, the
link that unites teaching and learning in the so-called Knowledge Society. Along these lines,
this article offers an overview of the phenomenon of e-activities within virtual learning
environments. Accordingly, it goes through the main studies on e-activities in terms of
definition, typology, selection and analysis. Results obtained show the relevance of such
resources as authentic learning objects and highlight the importance of promoting specific
teacher training competences on the selection, creation, modification and evaluation of
e-activities. In this line, the present study proposes different criteria to be considered for the
effective inclusion of such competences in teachers’ training programmes on digital teaching
competence.

Keywords: virtual education; evaluation; e-activities; teacher training; digital teaching

competence.

En los últimos tiempos, la educación ha tenido una diversidad de cambios en lo

referido a la aplicación de nuevas metodologías y estrategias de formación: aplicación
de metodologías activas, gamificación, flipped classroom… Dichos cambios también
han ocurrido en la incorporación de nuevas tecnologías; desde las ya tradicionales
como Internet a las emergentes como la realidad aumentada o las analíticas de
aprendizaje. Por ello, es necesaria una nueva fundamentación con teorías del
aprendizaje construidas, como el conectivismo o el aprendizaje rizomático, para
fundamentar el aprendizaje en red.
Sin embargo, en contraposición a todo esto, no ha ocurrido lo mismo con una de
las fases más significativas del proceso de instrucción, la evaluación. Los procesos
evaluativos siguen apoyándose en concepciones tradicionales y en los mismos
instrumentos, como ha mostrado el momento del confinamiento y la inseguridad
que ha mostrado gran parte del profesorado para llevar a cabo nuevas modalidades
evaluativas soportadas en la red (Moorhouse, 2020).
Como señalan Blázquez et al. (2017, p. 25), “si dentro de la cultura de la escuela
existe una dimensión que revela mejor la existencia de creencias, mitos, ritos y
costumbres que se resisten al cambio, esa es la evaluación”. Estos aspectos vienen
motivados, como señalan los autores anteriormente mencionados, por una enseñanza
que es entendida como “transmisión de información, que suele conducir a un tipo
de aprendizaje acrítico y mecánico, así como a una evaluación que busca verificar
la capacidad del alumno para responder de memoria a las preguntas o enunciados
formulados por el docente” (Blázquez et al., 2017, p. 25).
Lo comentado lleva a señalar que una de las preocupaciones que muestran los
docentes cuando se trabaja en una modalidad virtual de enseñanza respecto a la
evaluación se relaciona con las problemáticas de la suplantación de la persona y la

170 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 169-188.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 J. Cabero-Almenara; A. Palacios-Rodríguez
La evaluación de la educación virtual: las e-actividades

copia y plagio de la información en lugar de otras relacionadas con el desarrollo de

competencias clave (Sangrá, 2020).
Bajo esta perspectiva, la evaluación pierde su verdadero sentido, mejorar el
proceso de instrucción sirviendo, además de para conocer el dominio sobre los
contenidos y la adquisición de competencias por el estudiante; y para analizar la
eficacia de la metodología aplicada, los recursos utilizados y la estructura organizativa
utilizada (Marcano et al., 2020). En otros términos, la finalidad de la evaluación,
independientemente de su tipología (diagnóstica, formativa o sumativa), es mejorar
el Sistema Educativo. Como señalan Lezcano y Vilanova, “en función de cómo la
evaluación sea considerada al diseñar el proceso, puede ser percibida como un juicio
o como una ocasión para aprender” (2017, p. 2). El problema es que, habitualmente,
“la evaluación suele representar el final de un proceso de aprendizaje, por lo que
no suele tener repercusiones directas sobre el aprendizaje” (Ruiz-Morales, 2020, p.
279). De ahí que buscar nuevos modelos de evaluación como el apoyado en tareas
y actividades pueden ser de gran utilidad para potenciar/mejorar el proceso de
enseñanza-aprendizaje.
Todo ello lleva a inferir que la evaluación no se refiere únicamente a la
administración de instrumentos para indagar sobre lo aprendido o recordado
por parte del estudiante, sino más bien a un planificado proceso de recogida de
información que permita analizar el proceso formativo diseñado.
Para Ruiz-Morales (2008), independientemente de la noción de evaluación que
se adopte, existen una serie de puntos comunes:

1. La evaluación como algo necesario en el proceso de enseñanza y aprendizaje.

2. Proceso de valoración sistemática.
3. Recogida de datos.
4. Análisis de los datos.
5. Emisión de juicios de valor.
6. Toma de decisiones.

Frente a modelos de evaluación preocupados únicamente en la recogida de la

información en los que el alumnado es capaz de recordar de los contenidos que se le
han presentado, y que sugieren una metodología transmisiva por parte del docente;
en la actualidad se defienden nuevas modalidades de formación en los entornos
virtuales, donde la actividad realizada es clave para la adquisición del conocimiento.
Por supuesto, este fenómeno conlleva pasar de un modelo de formación centrado en
el profesor a otro centrado en el estudiante. De la misma forma, lleva a asumir los
siguientes principios:

1. Pasar del alumno como receptor a desarrollador.

2. De entornos formativos basados en la recepción a la participación e interactividad.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 169-188.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 171
 J. Cabero-Almenara; A. Palacios-Rodríguez
La evaluación de la educación virtual: las e-actividades

3. De centrarnos en productos a procesos centrados en el desempeño y la

competencia.
4. Desplazarnos de una evaluación sumativa a una evaluación auténtica.
5. Intercambio en clase al intercambio en la comunidad y el apoyo en la
interactividad.

Para Cabrera y Fernández-Ferrer (2020), tres son las agrupaciones de estrategias

entre las que podemos elegir para la realización de la evaluación on-line:

1. Estrategias y herramientas que permiten acreditar la comprensión de los

contenidos, entre las que se encuentran los cuestionarios en-línea.
2. Las que promueven el desarrollo competencial a través de la realización de
actividades.
3. La gamificación.

De forma complementaria, como señalan Medina-Díaz y Verdejo-Carrión (2020,

p. 271), la utilización de las

metodologías activas o auténticas, como estrategias de enseñanza, sirven de vehículo

para facilitar su desarrollo y logro, mediante situaciones o problemas similares a
los que se confrontan en el campo profesional y la sociedad. Su aplicación, requiere
replantear, planificar y orientar la enseñanza de modos distintos, ubicando al o la
estudiante como centro, y alineando las técnicas y los instrumentos para la evaluación.

Estas metodologías activas sitúan en el centro del proceso formativo al estudiante

para generar un aprendizaje situado (Silva, 2017).
Asociada a dichas metodologías, se encuentra el concepto de evaluación auténtica
(Cubero-Ibáñez y Ponce-González, 2020; Barrientos-Hernán et al., 2020; Brown,
2015). La evaluación auténtica, como señala Brown (2015, p. 3),

tiene lugar cuando examinamos directamente el desempeño de los estudiantes

en tareas intelectuales relevantes, cuando los estudiantes están obligados a ser
intérpretes eficaces de los conocimientos adquiridos y podemos hacer inferencias
válidas sobre el desempeño del estudiante a partir de las tareas que se utilizan para
la evaluación.

Al respecto, se encuentra la utilización de tareas, actividades y estrategias que

llevan a “pensar creativamente y a veces lateralmente” (Brown, 2015, p. 4). Además,
“alientan a los estudiantes a enfrentarse a prácticas desafiantes, proporcionando
oportunidades, a través de las formas en que estos participan en los procesos de
evaluación, para que aprendan y reflexionen sobre su aprendizaje favoreciendo así

172 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 169-188.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 J. Cabero-Almenara; A. Palacios-Rodríguez
La evaluación de la educación virtual: las e-actividades

su desarrollo personal y profesional” (Cubero-Ibáñez y Ponce-González, 2020, p.

42). No se debe olvidar que estas tareas están estrechamente relacionadas con la
evaluación continua y con la transferencia del aprendizaje (Díaz Rosas et al., 2019).
A continuación, se analiza el concepto de actividades o tareas en un contexto de
formación virtual, las denominadas e-actividades.

LAS E-ACTIVIDADES EN LA FORMACIÓN VIRTUAL

Diversas son las variables y competencias que el docente debe manejar en la

formación virtual (Cabero-Almenara y Palacios-Rodríguez, 2020; Padilla-Hernández
et al., 2019). Una de ellas son las e-actividades que los estudiantes deben realizar y las
estrategias de evaluación relacionadas con las mismas. Éstas, como se esquematiza
en la figura 1, repercuten en crear un entorno formativo de calidad.

Figura 1
Variables críticas de la formación virtual

Dichas variables inducen el aprendizaje en los estudiantes. Conjuntamente,

llevan al docente a diseñar acciones formativas más centradas en el aprendizaje que
en la enseñanza, y hacen que el alumnado reflexione y pueda poner en acción la
información y los contenidos que se le han presentado. Por otra parte, cuando se
han realizado diferentes investigaciones sobre los aspectos más significativos que
perciben los profesores y los estudiantes, se perciben como uno de los elementos que
garantiza la calidad de la formación virtual (Lai et al., 2017).

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 169-188.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 173
 J. Cabero-Almenara; A. Palacios-Rodríguez
La evaluación de la educación virtual: las e-actividades

Dentro del concepto de e-actividades, se comienza con la reflexión que indican

Fuentes-Guerra y García (2003, p. 147) cuando señalan que el “concepto de
actividad en el proceso de enseñanza aprendizaje es muy genérico y no tiene que ir
obligatoriamente asociado a movimiento o acto manipulativo del alumnado, sino que
se refiere a todas aquellas acciones (de observación, escucha, trabajo en equipo…)
que nos lleven a facilitar el proceso de enseñanza-aprendizaje”.
Con base en la anterior reflexión, por e-actividades se entienden todas las tareas
desarrolladas por el estudiante de forma individual o colectiva en un entorno digital,
y que están destinadas a obtener un aprendizaje específico. Son, por tanto, el vínculo
que une la enseñanza y el aprendizaje en línea. Sus características y funcionalidad
serán las mismas que las realizadas en contextos presenciales; si bien las diferencias
fundamentales se encuentran en las posibilidades que ofrecen los entornos virtuales
para favorecer un contexto interactivo tanto con la información como entre los
diferentes participantes de la acción formativa, profesorado y alumnado. Al mismo
tiempo, la red permite que el alumnado desarrolle tanto actividades individuales
como grupales y colaborativas, e interaccionar en un entorno multimedia e
hipertextual (Cabero, 2014).
Respecto a sus funciones, debe quedar claro que la importancia de las acciones
formativas en red no se encuentra tanto en los contenidos e información que se le
presenten a los estudiantes, sino en la interactividad que se pone en funcionamiento
para que el proceso de aprendizaje no se convierta en una acción pasiva y memorística.
Como indican Cabero y Gisbert (2005, p. 92),

si no queremos convertir los entornos de formación en red en entornos puramente

expositivos de bloques de datos y de información, ante los cuales el alumno lo único
que debe hacer es memorizar la información que se le presenta, se deben incluir
una serie de actividades con las cuales persigamos diferentes objetivos que vayan
desde la comprensión de los contenidos, la transferencia a otras situaciones y hechos
diferentes a los presentados, o la profundización en los mismos.

De todas formas, muchos docentes siguen considerando que son los contenidos
el aspecto al que más significación le conceden para la realización de entorno
virtuales formativos de calidad (Boumadan et al., 2020). Por el contrario, como
señala Ruiz-Morales (2020, p. 264), “las evidencias sugieren que las prácticas de la
instrucción más efectivas incluyen una planificación más concienzuda de las tareas
que realizarán los estudiantes y la provisión de feedback mientras las realizan”. Por
otra parte, si las e-actividades que diseña el profesor son del tipo colaborativo, ello
repercute beneficiosamente en el aumento de la motivación en el estudiante y en la
disminución del nivel de frustración (Gómez-Rey et al., 2018).
De igual forma, como señala Silva (2017, p. 7),

174 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 169-188.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 J. Cabero-Almenara; A. Palacios-Rodríguez
La evaluación de la educación virtual: las e-actividades

el aprendizaje centrado en las actividades sitúa al estudiante en el centro del proceso

formativo, le entrega un rol protagónico, favorece el aprendizaje colaborativo y
autónomo. Estas últimas habilidades de orden superior demandadas por la sociedad
del conocimiento y útiles no tan solo para la vida académica sino también para la
profesional.

En este sentido, para Cabero (2013), las funciones que desempeñan las
e-actividades son diversas:

1. Clarificación de los contenidos.

2. Transferencia de la información a contextos y escenarios diferentes en los cuales
fueron presentados.
3. Profundización en la materia.
4. Adquisición de vocabulario específico.
5. Socialización.
6. Aplicación de los contenidos a su actividad profesional.

Rodríguez e Ibarra (2011) afirman que, para que las tareas puedan considerarse
como auténticas, deben poseer una serie de características que los autores citados
concretan en las siguientes:

1. Centrarse en los procesos (no sólo productos).

2. Ser realistas, retadoras, diversas, globales.
3. Ser relevantes, útiles, significativas, complejas.
4. Integrar diferentes competencias, destrezas, habilidades y conocimientos,
5. Implicar diferentes tipos de aprendizaje y actuaciones de forma que faciliten un
aprendizaje útil, significativo y estratégico.
6. Facilitar el empoderamiento del estudiante sobre su propio aprendizaje y
evaluación.
7. Permitir la construcción del conocimiento y su demostración en contextos reales.
8. Evaluar al estudiante en los contextos profesionales reales.
9. Posibilitar la participación en el proceso de evaluación.
10. Facilitar la proalimentación.
11. Utilizar múltiples medios e instrumentos de evaluación.
12. Proximidad ecológica.

Por otra parte, el diseño de actividades auténticas por parte del docente, y su
evaluación continua, favorece el aprendizaje reflexivo y colaborativo (Luo et al.,
2017). En consecuencia, no se debe olvidar que las e-actividades que se desarrollan
con el alumnado pueden servir para otras funciones además de las indicadas; en
concreto, pueden ser de verdadera utilidad para llevar al alumnado para que
aprendan a aprender, servir de puente para llevar a cabo un procesamiento profundo

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 169-188.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 175
 J. Cabero-Almenara; A. Palacios-Rodríguez
La evaluación de la educación virtual: las e-actividades

de la información o profundizar de forma voluntaria en los conceptos que han sido

presentados.
La importancia concedida a las e-actividades en el proceso formativo llevan a
Sancho y Borges (2011) a diferenciar entre:

1. Aprendizaje centrado en el contenido.

2. Aprendizaje centrado en las actividades.

En la tabla 1 se presentan las características distintivas en cada una de las

propuestas.

Tabla 1
Características del modelo de diseño centrado en contenidos y en actividades.

Centrado en el contenido Centrado en las actividades

1. Los estudiantes tienen una implicación
1. El estudiante suele ser reactivo y pasivo, activa en su aprendizaje, sin esperar que
a la espera de lo que diga o decida el el docente decida por ellos.
docente. 2. Mucha libertad para los estudiantes y
2. El margen de decisión del estudiante es espacio para las propias decisiones en
pequeño. cuanto a ciertos elementos importantes
3. Se fomenta un aprendizaje individual. de su aprendizaje.
4. Los estudiantes no tienen muchas 3. Se fomenta un aprendizaje en
oportunidades para aprender colaboración con los compañeros.
autónomamente. 4. Los estudiantes tienen ocasiones de ser
5. Desarrollo de competencias autónomos en su aprendizaje.
memorísticas y de replicación de 5. Competencias relacionadas con procesos,
contenidos. con una orientación a resultados, y a
6. La educación personal y profesional la búsqueda, selección y manejo de
a menudo está restringida a períodos información.
determinados de la vida. 6. Educación personal y profesional a lo
largo de la vida.

Conjuntamente, en su ejecución deben contemplarse las limitaciones que

presentan las e-actividades. Según Barberà (2004), son:

1. Dependencia de un ordenador y de la conexión a la red y la falta de acceso por

cualquier otro motivo.
2. Ser una copia excesivamente fiel a las actividades presenciales, por lo que no
parece necesario su desarrollo.
3. Inferioridad de condiciones por la propia costumbre de desarrollo en el ámbito
escolar respecto de las actividades presenciales.

176 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 169-188.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 J. Cabero-Almenara; A. Palacios-Rodríguez
La evaluación de la educación virtual: las e-actividades

4. Falta de formación virtual previa tanto por parte de los profesores como por
parte de los alumnos.

Para Cabero (2013), el profesor debe tener en cuenta diversos principios

generales en su puesta en acción:

1. Variabilidad: deben implicar una diversidad de tipología a e-actividades a

realizar por los estudiantes de manera que se potencien con ella la adquisición y
evaluación de diferentes tipos de competencias. Tal variabilidad debe entenderse
también de la movilización de diferentes tipos de recursos (clip de vídeo, PDF,
podcast de audio, objetos en realidad aumentada…) que deben ser movilizados o
utilizados por los estudiantes para su realización.
2. De la facilidad a la dificultad: establecer un nivel progresivo de dificultad de las
actividades de manera que dé tiempo al alumnado para acostumbrarse a los
requerimientos de la acción formativa. Ello permitirá que los estudiantes vayan
adquiriendo progresivamente confianza a lo largo del curso, no abandonen
por considerar desde el comienzo el curso muy complejo y se familiarice con el
proceso evaluativo.
3. La racionalidad temporal: uno de los errores que los alumnos suelen cometer es
no valorar con suficiente claridad el tiempo concedido para realizar las acciones
formativas.
4. Tanto para lo individual como grupal: proponer actividades que le lleven al
estudiante a ejecutar e-actividades, tanto de forma individual como grupalmente.
De esta forma, también se potencia la adquisición de competencias sociales y
emocionales.
5. Dar normas claras para su realización: su resolución debe venir del esfuerzo
cognitivo que el estudiante deba hacer para resolver la tarea, y no para
comprender lo que se le pida que debe hacer.
6. Detallar los criterios de evaluación: indicar las normas claras mediante las
cuales se van a corregir y evaluar las actividades solicitadas puede ser de gran
ayuda para evitar problemas futuros. Puede servir al mismo tiempo para dirigir
la calidad de la realización de la actividad por parte del estudiante. Desde esta
perspectiva, la utilización de rúbricas puede ser un elemento de ayuda.

Ahora bien, la significación de las e-actividades no se encuentra solo en lo

apuntado. Como sugiere un estudio, son también un buen elemento para facilitar la
transferencia del aprendizaje puesto que “no solo estamos evaluando qué saben los
alumnos, sino también que saben hacer con lo que saben” (Ruiz-Morales, 2020, p.
286). Asociada a esta transferencia, también se encuentra su potencial para favorecer
la autonomía del alumnado (Llanes y Novillo, 2018).
Otro de los factores que inciden en la calidad de las e-actividades es la variable
tiempo; por una parte, porque una de las competencias que debe poseer el alumnado

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 169-188.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 177
 J. Cabero-Almenara; A. Palacios-Rodríguez
La evaluación de la educación virtual: las e-actividades

para trabajar en estos entornos virtuales de formación, y que adolece muchas veces
de ella, es la competencia de autorregulación del aprendizaje. Por otro lado, al perder
el docente en estos entornos los principios de unidad a los que está acostumbrado
en la docencia presencial (unidad de tiempo, de acción y de espacio), no se muestra
eficaz inicialmente para desempeñarse en este tipo de estructuras docentes y
evaluativas. Por este motivo, es importante que, a la hora de especificar el tiempo
se realice una planificación tan cuidada que permita el suficiente para que a todo
el alumnado, se le dé la oportunidad de realizarla con claridad, reflexionar sobre la
misma y preparar sus respuestas (Casal Otero y García Antelo, 2018). Ello, sin lugar
a dudas, será muy ventajoso sobre todo para los alumnos y alumnas que presentan
diferentes limitaciones: formación, manejo instrumental de las tecnologías, dificultad
de comprensión y expresión, problemáticas para relacionarse con los demás en las
actividades colaborativas...
Como señala Silva (2011, p. 95),

las actividades son el centro del proceso de enseñanza y aprendizaje, tanto en un

entorno presencial como virtual. Sin embargo, en este último, al tratarse de un medio
donde la comunicación es esencialmente por medio escrito, y donde los participantes
acceden en forma asincrónica, se hace necesario recoger bajo algún formato las
instrucciones para el desarrollo de la actividad.

Por tanto, a la hora de presentarlas a los estudiantes, se les debe de incluir

diferentes aspectos que le sirvan de ayuda y orientación, tanto para su realización,
como para saber la forma en la cual debe cumplimentarla y presentarla, así como
también para que conozca los criterios que se manejarán para su evaluación y
calificación.
Otra de las variables clave que inciden en el éxito de una e-actividad es asegurarse
de que el alumnado entiende lo que se le pide. Independientemente de la ubicación
de normas claras para la especificación de la actividad, es aconsejable establecer
medidas evaluativas para asegurarnos que los estudiantes lo han entendido. En este
caso, puede ser de ayuda solicitar a cualquier estudiante que explique en el foro o un
cuestionario lo que se les solicita.
En este sentido, una diversidad de criterios a utilizar en su presentación puede
ser de ayuda para facilitar su cumplimentación por los estudiantes (Cabero, 2013).
Entre ellos, se pueden señalar los siguientes:

1. Nombre de la e-actividad y unidad a la que pertenece.

2. Objetivos que se persigue que alcancen con su realización.
3. Descripción de la e-actividad: especificar con claridad el contexto y el entorno
donde se debe realizar la e-actividad, y dejar perfectamente claro los límites
temporales que se piensan asumir para realizarla y entregarla.

178 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 169-188.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 J. Cabero-Almenara; A. Palacios-Rodríguez
La evaluación de la educación virtual: las e-actividades

4. Señalar la forma de envío al docente: correo electrónico, tarea en plataforma

virtual, publicación en redes sociales…
5. Recursos que debe utilizar para su realización: materiales, documentos,
direcciones web…
6. El número de participantes que pueden realizar la actividad y la modalidad de
participación (individual, grupal, reparto de trabajo, trabajo colaborativo…) que
se permite.
7. Tiempo aproximado que le debe llevar la realización de la e-actividad.
8. Criterios que se utilizarán para valorar la ejecución de la actividad: calificación,
ponderación de criterios, e-rúbrica, feedback...
9. Formas en las cuales se deberá de presentar la realización de la actividad:
estructura, tipo de material, tamaño/volumen, composición…
10. Fecha de entrega.

Por lo que se refiere a su evaluación, un elemento que puede ser de gran utilidad
es la utilización de e-rúbricas que contemplen diferentes dimensiones como:

1. Contenido.
2. Claridad de la respuesta (producto/esquema/actividad/texto) ofrecida.
3. Comprensión de la actividad.
4. Profundización de la respuesta.
5. Expresión clara y correcta.
6. Reflexión.
7. Facilidad de comprensión.
8. Organización de la información y del producto elaborado.
9. Adecuación de la respuesta.
10. Argumenta la reflexión y usabilidad del producto elaborado.

La investigación llevada a cabo por Gros Salvat (2018) pone en énfasis la

necesaria evaluación del denominado diseño pedagógico de las e-actividades; el
éxito de la misma depende en gran medida de “la capacidad del estudiante para
dirigir y gestionar su propio proceso de aprendizaje, estableciendo objetivos y
estrategias adecuadas para alcanzar sus objetivos” (p. 74). En este mismo sentido,
distintos estudios avalan la necesidad de establecer criterios de evaluación en los
que no solo se contemplen indicadores relacionados con la calidad técnica de las
e-actividades, sino también su calidad pedagógica (Guri-Rosenblit, 2018; Tumino y
Bournissen, 2020). De forma complementaria, Lin et al. (2020) mencionan un tercer
elemento clave para el éxito de las propuestas formativas en línea, la incorporación
de elementos significativos para el alumnado. Es decir, una e-actividad de calidad es
aquella diseñada con criterios técnicos y pedagógicos, y está actualizada y adaptada
al contexto en el que se va a llevar a cabo.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 169-188.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 179
 J. Cabero-Almenara; A. Palacios-Rodríguez
La evaluación de la educación virtual: las e-actividades

Finalmente, frente a la evaluación centrada en sistemas de preguntas corregidas

automáticamente, que se limitan a la evaluación de aprendizajes instrumentales
y procedimentales, la evaluación realizada a través de e-actividades, debido a su
diversidad, permite evaluar competencias relacionadas con la actividad docente.
En este sentido, el estudio y análisis de las mismas es relevante pues el nivel que
los docentes suelen poseer en competencia digital es bajo (Dzikite et al., 2017). Por
ello, es fundamental establecer líneas de acción formativa específicas y adaptadas
al contexto profesional en donde el profesorado desarrolla sus labores. El conseguir
reducir esta carencia formativa, permitirá una correcta utilización de la tecnología
en escenarios de enseñanza-aprendizaje, donde la selección, creación y modificación
de e-actividades es una competencia fundamental (Guillén-Gámez et al., 2020).
En este sentido, los Marcos de Referencia de la Competencia Digital Docente como
DigCompEdu (Redecker y Punie, 2017; Cabero-Almenara y Palacios-Rodríguez,
2020; Cabero Almenara et al., 2020a, 2020b), abogan por desarrollar planes de
formación docente centrados en criterios en los que primen los criterios pedagógicos
sobre los tecnológicos como:

1. Identificar, evaluar y seleccionar actividades para la enseñanza y el aprendizaje,

entender el copyright aplicable y los requerimientos de accesibilidad.
2. Modificar actividades existentes con licencia abierta y otros recursos en los que
está permitido. Crear o co-crear nuevos recursos educativos digitales. Considerar
el objetivo de aprendizaje específico, el contexto, el enfoque pedagógico y el
grupo de estudiantes, al diseñar los recursos digitales y planificar su uso.
3. Organizar actividades digitales y ponerlas a disposición de los estudiantes y
resto de la comunidad educativa. Proteger eficazmente los contenidos digitales
sensibles. Respetar las normas de privacidad y derechos de autor. Comprender el
uso y la creación de licencias abiertas y recursos educativos abiertos, incluyendo
su correcta atribución.
4. Integrar dispositivos y recursos digitales en el proceso de enseñanza, a fin de
mejorar la eficacia de las prácticas de enseñanza. Adaptar adecuadamente
las bases, administrar y orquestar las intervenciones de enseñanza digital.
Experimentar y desarrollar nuevos formatos y métodos pedagógicos de
instrucción.
5. Utilizar herramientas y servicios digitales para mejorar la interacción con los
estudiantes, de forma individual y colectiva, dentro y fuera de la sesión de
aprendizaje. Utilizar las tecnologías digitales para ofrecer orientación y asistencia
oportuna y específica. Experimentar y desarrollar nuevas formas y formatos para
ofrecer orientación y apoyo.
6. Utilizar las tecnologías digitales para fomentar y mejorar las estrategias de
aprendizaje colaborativo. Por ejemplo, como base para el intercambio colaborativo
en grupo, como herramienta para realizar una asignación colaborativa, o como
medio para presentar resultados.

180 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 169-188.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 J. Cabero-Almenara; A. Palacios-Rodríguez
La evaluación de la educación virtual: las e-actividades

7. Utilizar las tecnologías digitales para apoyar los procesos de aprendizaje auto-
dirigidos, es decir, para permitir que los estudiantes planifiquen, supervisen
y reflexionen sobre su propio aprendizaje, evidencien el progreso, compartan
conocimientos y presenten soluciones creativas.
8. Utilizar herramientas digitales para la evaluación formativa y sumativa. Mejorar
la diversidad y la idoneidad de los formatos y enfoques de evaluación.
9. Generar, seleccionar, analizar críticamente e interpretar la evidencia digital de la
actividad digital, del rendimiento y del progreso de los estudiantes, con el fin de
informar la enseñanza y el aprendizaje.
10. Utilizar herramientas digitales para proporcionar retroalimentación puntual y
oportuna a los estudiantes. Adaptar adecuadamente las estrategias de enseñanza
y proporcionar apoyo orientado, basado en la evidencia generada por las
herramientas digitales utilizadas. Ayudar a los estudiantes y padres y madres a
entender la evidencia proporcionada por las herramientas digitales y utilizarlas
para la toma de decisiones.
11. Asegurar la accesibilidad a los recursos y a las actividades de aprendizaje, para
todos los estudiantes, incluyendo aquellos con necesidades especiales. Considerar
y responder a las expectativas digitales de los estudiantes, sus habilidades, usos
digitales e ideas erróneas, así como las restricciones contextuales, físicas o
cognitivas para el uso de herramientas digitales.
12. Utilizar herramientas digitales para atender las diversas necesidades de
aprendizaje de los estudiantes. Por ejemplo, permitiéndoles seguir diferentes
vías y metas de aprendizaje, ofreciendo enfoques y herramientas alternativas, y
permitiendo a los estudiantes avanzar a diferentes velocidades hacia objetivos de
aprendizaje individuales.
13. Utilizar herramientas digitales para fomentar el compromiso activo y creativo
de los estudiantes con un tema. Utilizar tecnologías digitales para fomentar
las competencias transversales y la expresión creativa de los estudiantes. Abrir
el aprendizaje a contextos del mundo real, involucrar a los estudiantes en
actividades prácticas, en la investigación científica, la resolución de problemas
complejos, la expresión creativa.

LAS E-ACTIVIDADES: SU TIPOLOGÍA

Por lo que se refiere a su tipología, Moreno y Bailly-Baillière (2002) las clasifica

en explicaciones en red, presentaciones del alumnado, actividades de repetición,
rastreo de información, investigación guiada, análisis guiado, trabajo en equipo,
tormenta de ideas, estudios de casos, juegos de rol, crítica de grupo, simulaciones,
instrucciones de uso y juegos didácticos.
Stansfieled (1999) agrupa las actividades en dos grandes categorías: personales y
sociales. En las primeras incluye: actitud y capacidad para intentar nuevos caminos de
hacer las cosas, tomar responsabilidad sobre su propio aprendizaje, interesarse por

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 169-188.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 181
 J. Cabero-Almenara; A. Palacios-Rodríguez
La evaluación de la educación virtual: las e-actividades

los propios procesos de aprendizaje, reconocimiento de los beneficios y limitaciones

de los conceptos tradicionales de conocimiento y comprensión y sus conexiones
con su experiencia, estilo de aprendizaje activo, ansias para el conocimiento, la
comprensión y la experiencia, favorecer un proactivo y entusiástico aprendizaje. En
las segundas: habilidad para ver la relevancia de su desarrollo en un contexto más
amplio de ellos (percepciones de los valores de los otros), habilidad para captar en
su amplio contexto el poder pensar fuera del contexto escolar, desear el desarrollo de
los demás, buena disposición para la participación, la habilidad para admitir el valor
intrínseco de las contribuciones de sus pares, preparación para poner un esfuerzo
extra y para seguir las instrucciones de los tutores, y la habilidad para ejercer el
pensamiento independiente y restringir la confianza. En una línea muy similar en
nuestro contexto, Barberà (2004) las clasifica en función de que puedan ejecutarse
de forma individual (autoaprendizaje electrónico, cubículos virtuales, aprendizaje
cognitivo, autorización inteligente, laboratorios virtuales, y proyectos telemáticos) o
grupal (proyectos telemáticos, grupos cooperativos, círculos de aprendizaje, debates,
y comunidades virtuales de aprendizaje).
Por su parte, Alonso y Blázquez (2012) discriminan entre e-actividades para la
búsqueda de información (caza del tesoro y webquest) y para la elaboración de la
información (base de datos, resumen, esquema, mapas conceptuales, elaboración de
multimedia, podcast, elaboración de imágenes y creación de vídeos).
Marcelo et al. (2019) diferencia entre actividades asimilativas (persigue la
comprensión de la información por parte del estudiante), productivas (elaboración
de un producto por el estudiante), de gestión de la información (actividades de
búsqueda, síntesis y presentación de un producto sobre lo realizado), comunicativa
(discusión sobre la información), de aplicación (resolución de una situación
problemática), experiencial (ubicación del estudiante en un contexto real laboral) y
evaluativa (analizar las competencias adquiridas por los estudiantes).
Maina (2020) señala que hay diferentes tipos de e-actividades que se pueden
poner en funcionamiento en la formación en red, que concreta en las siguientes:

1. Actividades de análisis y síntesis.

2. Actividades de investigación o resolución de problemas.
3. Actividades de interacción y comunicación.
4. Actividades de construcción colaborativa de conocimiento.
5. Actividades de reflexión.

Abordando ya la diversidad de tipología que podemos utilizar como instrumentos

de evaluación, desde el principio son inicialmente las mismas que se pueden derivar
de la enseñanza presencial, ampliándolas con aquellas específicas que la red aporta,
y que las herramientas de la web 2.0, nos permiten poner en funcionamiento. Al
respecto, se encuentran diferentes propuestas realizadas por distintos autores e
instituciones. Así, la Universidad de Maryland (2004) ha elaborado un sitio web

182 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 169-188.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 J. Cabero-Almenara; A. Palacios-Rodríguez
La evaluación de la educación virtual: las e-actividades

para ayudar a los profesores a diseñar los sitios y ubicar diferentes actividades.
En estas últimas, señala como las pertinentes a realizar las siguientes: aprendizaje
conceptual, resolución de problemas, análisis de objetos y documentos, recoger datos
y sintetizarlos, estudio de casos, presentaciones por profesores y por estudiantes,
aprendizaje colaborativo, realización de investigaciones y laboratorio virtual y visitas
de campo.
Por su parte, Moreno y Bailly-Baillière (2002) señalan las siguientes actividades
que se pueden utilizar en la formación virtual: explicaciones en red, presentaciones de
los alumnos, actividades de repetición, rastreo de información, investigación guiada,
análisis guiado, trabajo en equipo, tormenta de ideas, estudios de casos, juegos de
rol, crítica de grupo, simulaciones, instrucciones de uso y juegos didácticos.
Harris (1995), en su “problem-solving projects”, establece diferentes tipos de
actividades que pueden ser realizadas por los estudiantes: búsqueda de información
(a los estudiantes se les presentan diferentes problemas y deben identificar
información para resolverlos), procesos escritos electrónicos (los estudiantes
realizan ensayos y poemas y reciben las sugerencias de otra serie de compañeros),
creación de secuencias (dibujan un documento), resolución paralela de problemas
(diversos estudiantes trabajan de forma independiente para resolver un problema),
reuniones virtuales (chat), simulaciones (trabajo colaborativo en línea para recrear
un evento, diseño de contextos, manipulación de variables,…), proyectos de acción
social…
Barberà (2004), desde la clasificación que realiza de las actividades en individuales
y grupales, propone la siguiente lista para las realizadas de forma individual:
autoaprendizaje electrónico, cubículos virtuales, aprendizaje cognitivo, autorización
inteligente, laboratorios virtuales y proyectos telemáticos. Además, las siguientes
para las ejecutadas de forma grupal: proyectos telemáticos, grupos cooperativos,
círculos de aprendizaje, debates y comunidades virtuales de aprendizaje.
En el documento elaborado por la Dirección de Educación Superior (2020)
del Ministerio de Cultura y Educación del Gobierno de Formosa de Argentina
denominado “Los procesos de evaluación en entornos virtuales de aprendizaje”
también se proponen una diversidad de ellas: diarios de reflexión, dianas, portafolio,
mapa conceptual como organizador gráfico, organizadores gráficos, cuestionarios
interactivos, producciones grupales en línea, foros de debate o listas de discusión,
diario, vídeos, formularios de Google, Edupuzle, Educa Play, Kahoot, y producciones
escritas en diferentes formatos.
De la misma forma, diferentes autores han ampliado las diferentes propuestas
identificadas anteriormente proponiendo una lista bastante exhaustiva de
e-actividades que pueden realizar para la evaluación de los estudiantes en contextos
de formación (Cabero, 2014; Colomo Magaña et al., 2020; Barroso, 2017). Se
proponen las siguientes: proyectos de trabajo, visitas a sitios webs, realización
y construcción de ejemplos, análisis de imágenes y clip de vídeos, estudios de
casos, búsqueda adicional de información o de ejemplos, trabajar con un caso para

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 169-188.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 183
 J. Cabero-Almenara; A. Palacios-Rodríguez
La evaluación de la educación virtual: las e-actividades

resolver un problema y contribuir con materiales adicionales materiales para que

el caso sea usado por otros, participar en una situación de juego de roles y guardar
los resultados de otros para considerarlos, crear un informe para ser usado como
recurso de aprendizaje por otros, crear productos, tales como multimedia o su
diseño, que también pueden ser utilizados por otros, extender y aplicar principios
teóricos a nuevos escenarios y añadir estos resultados, participar en una discusión y
grabar los aspectos claves para ser usados por otros, solución de problemas, análisis
de objetos y documentos, reunión de datos y síntesis, estudio de casos, laboratorios
virtuales y viajes al campo, solucionario de puzles, preguntas incorporadas en vídeo
con programas como Edupuzle o HP5, o aplicaciones de gamificación. De todas
formas, no se pretende indicar que con esta lista se acoten las e-actividades que
puede utilizar el docente para la evaluación de los estudiantes

LAS E-ACTIVIDADES: SU SELECCIÓN

Es necesario señalar que los criterios que se pueden movilizar para la selección y
determinación de las e-actividades más adecuadas a nuestra situación son diversos,
y algunos de ellos pueden ser los siguientes:

1. Pensar en las actividades más usuales que se pueden desarrollar en el campo

científico-temático en el cual nos desenvolvemos.
2. Tener presente las características de los alumnos: dominio del vocabulario, edad,
experiencia profesional, situación laboral...
3. Plantear actividades que puedan movilizar en el estudiante diferentes tipos de
capacidades, y permitan alcanzar una diversidad de competencias.
4. Contemplar en la selección las actividades que sean más motivantes para los
alumnos.
5. Tener en cuenta las posibilidades que la red ofrece para su desarrollo y
cumplimentación.

Al mismo tiempo, puede ser de ayuda para su determinación apoyarse bien en

la propuesta que Churches (2009) realizó para adaptar la taxonomía de Bloom a
la era digital, donde ya la última categoría no es “evaluar” si no la de “crear”. De la
misma forma, la rueda de la pedagogía de Allan Carrington (2014), construida para
que los estudiantes realicen actividades para analizar, aplicar, recordar-comprender,
crear y evaluar. Estas propuestas son de ayuda para solucionar uno de los problemas
apuntados por Barberà (2004, p. 45), cuando llama la atención respecto que la
“mayor parte de las e-actividades que encontramos son de naturaleza simple y no
aportan al formato de lápiz y papel más que la sistematización y la posibilidad de
repetición hasta la saciedad y de transmisión electrónica al propio profesor”. De
esta forma, se consigue favorecer un aprendizaje activo, autónomo, constructivo y

184 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 169-188.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 J. Cabero-Almenara; A. Palacios-Rodríguez
La evaluación de la educación virtual: las e-actividades

colaborativo, y nuevas modalidades de evaluación no centradas en la memorización

y recuerdo de la información por parte del estudiante.
Finalmente, se señala la fuerte relación que se presenta entre la evaluación
mediante e-actividades y la construcción de portafolios electrónicos, que recopilen
la diversidad de trabajos que ha ido realizando un estudiante a lo largo de un período
de tiempo formativo concreto (Blázquez et al., 2017).

REFERENCIAS

Alonso, L., y Blázquez, F. (2012). El docente Cabero, J. (2014). Manual para el Desarrollo
de educación virtual. Guía básica. Narcea. de la formación virtual en el Instituto
Barberà, E. (2004). La educación en red. Tecnológico de Santo Domingo. Intec.
Paidós. Cabero, J., y Gisbert, M. (2005). La formación
Barrientos-Hernán, E., López-Pastor, V., y en Internet. Guía para el diseño de
Pérez-Brunicardi, O. (2020). Evaluación materiales didácticos. Eduforma.
Auténtica y Evaluación Orientada al Cabero-Almenara, J., Barroso-Osuna, J.,
Aprendizaje en Educación Superior. Palacios-Rodríguez, A., y Llorente-Cejudo,
Una Revisión en Bases de Datos C. (2020a). Marcos de Competencias
Internacionales. Revista Iberoamericana Digitales para docentes universitarios:
de Evaluación Educativa, 13(2), su evaluación a través del coeficiente
67-83. [Link] competencia experta. Revista Electrónica
riee2020.13.2.004 Interuniversitaria De Formación
Barroso, J. (2017). Diseño, producción, Del Profesorado, 23(2). [Link]
evaluación y utilización educativa de org/10.6018/reifop.413601
la Realidad Aumentada. Secretariado Cabero-Almenara, J., Romero-Tena, R.,
de Recursos Audiovisuales y Nuevas y Palacios-Rodríguez, A. (2020b).
Tecnologías Universidad de Sevilla. Evaluation of Teacher Digital Competence
Blázquez, F., Alonso, L., y Yuste, R. (2017). Frameworks Through Expert Judgement:
La evaluación en la era digital. Síntesis. the Use of the Expert Competence
Boumadan, M., Soto-Varela, R., Ortiz- Coefficient. Journal of New Approaches
Padilla, M., y Poyatos-Dorado, C. in Educational Research, 9(2), 275-
(2020). What Factors Determine the 293. [Link]
Value of an Online Teacher Education naer.2020.7.578
Experience from a Teacher’s Perspective? Cabero-Almenara, J., y Palacios-Rodríguez,
Sustainability, 12, 8064. [Link] A. (2020). Marco Europeo de Competencia
org/10.3390/su12198064 Digital Docente «DigCompEdu».
Brown, S. (2015). La evaluación auténtica: Traducción y adaptación del cuestionario
el uso de la evaluación para ayudar a «DigCompEdu Check-In». EDMETIC,
los estudiantes a aprender. Relieve, 9(1), 213-234. [Link]
1(2). [Link] edmetic.v9i1.12462
relieve.21.2.7674 Cabrera, N., y Fernández-Ferrer, M. (2020),
Cabero, J. (2013). La formación virtual en Claves para una evaluación en línea. En
el nuevo entramado de la web 2.0: el Sangrá, A. (coord.), Decálogo para la
e-learning 2.0. Alianza. mejora de la docencia on-line (81-98).
UOC.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 169-188.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 185
 J. Cabero-Almenara; A. Palacios-Rodríguez
La evaluación de la educación virtual: las e-actividades

Carrington, A. (2014). La rueda de la International Journal of Educational

pedagogía (Pedagogy Wheel) de Allan Sciences, 17(1-3), 61-68. [Link]
Carrington. Learn. 10.1080/09751122.2017.1305756
Casal Otero, L., y García Antelo, B. Fuentes-Guerra, M., y García, M. (2003).
(2018). Una experiencia de formación Los procesos de planificación de la
del profesorado para implementar la Universidad. Unidad para la Calidad de
evaluación entre pares en el campus las Universidades Andaluzas.
virtual de la Universidad de Santiago de Gómez-Rey, P., Barberà, E., y Fernández-
Compostela. Píxel-Bit. Revista de Medios Navarro, F. (2018). Students’ perceptions
y Educación, 54, 125-144. [Link] about online teaching effectiveness: A
org/10.12795/pixelbit.2019.i54.07 bottom-up approach for identifying online
Churches, A. (2009). Taxonomía de Bloom instructors’ roles. Australasian Journal
para la era digital. Eduteka. of Educational Technology, 34(1), 116-
Colomo Magaña, E., Gabarda Méndez, V., 130. [Link]
Cívico Ariza, A., y Cuevas Monzonís, N. Gros Salvat, B. (2018). La evolución del
(2020). Percepción de estudiantes sobre e-learning: del aula virtual a la red. RIED.
el uso del videoblog como recurso digital Revista Iberoamericana de Educación
en educación superior. Píxel-Bit. Revista a Distancia, 21(2), 69-82. [Link]
De Medios Y Educación, 59, 7-25. https:// org/10.5944/ried.21.2.20577
[Link]/10.12795/pixelbit.74358 Guillén-Gámez, D., Ruiz-Palmero, J.,
Cubero-Ibáñez, J., y Ponce-González, N. Sánchez-Rivas, E., y Colomo-Magaña, E.
(2020). Aprendiendo a través de Tareas (2020). ICT resources for research: an
de Evaluación Auténticas: Percepción ANOVA analisis on the digital research
de Estudiantes de Grado en Educación skills of higher education teachers
Infantil. Revista Iberoamericana comparing the areas of knowledge within
de Evaluación Educativa, 13(1), each gender. Education and Information
41-69. [Link] Technologies, 25, 4575-4589. [Link]
riee2020.13.1.002 org/10.1007/s10639-020-10176-6
Díaz Rosas, F., Cuevas López, M., Fernández Guri-Rosenblit, S. (2018). E-Teaching
Cruz, M., Gijón Puerta, J., Lizarte Simón, in Higher Education: An Essential
E. J., Ibáñez Cubillas, P., El Homrani, Prerequisite for E-Learning. Journal
M., Ávalos Ruiz, I., y Rodríguez Muñoz, of New Approaches in Educational
R. J. (2019). Liderazgo y calidad en la Research, 7(2), 93-97. [Link]
Educación Superior. EDMETIC, 8(2), org/10.7821/naer.2018.7.298
52-72. [Link] Harris, J. (1995). Educational telecomputing
v8i2.12120 activities: problem-solving projects.
Dirección de Educación Superior (2020). Learning and leading with technology,
Los procesos de evaluación en entornos 22(8), 59-63.
virtuales de aprendizaje. Ministerio de Lai, P., Portelese, A., y Jacobson, M. (2017).
Educación y Cultura del Gobierno de Does sequence matter? Productive failure
Formosa. Gobierno de Argentina. and designing online authentic learning
Dzikite, C., Nsubuga, Y., y Nkonki, V. (2017). for process engineering. British Journal
Lecturers’ Competencies in Information of Educational Technology, 48, 6, 1217-
and Communication Technology (ICT) 1227. [Link]
for Effective Implementation of ICT- Lezcano, L., y Vilanova, G. (2017).
Integrated Teaching and Learning in Instrumentos de evaluación de
Textiles and Clothing Degree Programmes. aprendizaje en entornos virtuales.

186 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 169-188.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 J. Cabero-Almenara; A. Palacios-Rodríguez
La evaluación de la educación virtual: las e-actividades

Perspectiva de estudiantes y aportes Moreno, F., y Bailly-Bailleère, M. (2002).

de docentes. ICT-UNPA. [Link] Diseño instructivo de la formación on-
org/10.22305/ict-unpa.v9i1.235 line. Aproximación metodológica a la
Lin, Q., Yin, Y., Tang, X., Hadad, R., y Zhai, X. elaboración de contenidos. Ariel.
(2020). Assessing learning in technology- Padilla-Hernández, A. L., Gámiz-Sánchez,
rich maker activities: A systematic review V. M., y Romero-López, M. A. (2019).
of empirical research. Computers & Niveles de desarrollo de la Competencia
Education, 157, 103944. [Link] Digital Docente: una mirada a marcos
org/10.1016/[Link].2020.103944 recientes del ámbito internacional.
Llanes, J., y Novillo, P. (2018). Virtual Innoeduca. International Journal of
Master’s Training: Implications Technology and Educational Innovation,
for Teaching. Journal of Academic 5(2), 140-150. [Link]
Perspectives, 3, 1-36. innoeduca.2019.v5i2.5600
Luo, T., Murray, A., y Crompton, H. (2017). Redecker, C., y Punie, Y. (2017). Digital
Designing Authentic Learning Activities Competence of Educators DigCompEdu.
to Train Pre-Service Teachers About Publications Office of the European
Teaching Online. International Review Union.
of Research in Open and Distributed Rodríguez. G., e Ibarra, M. S. (2011).
Learning, 18(7), 141-156. [Link] E-Evaluación orientada al e-aprendizaje
org/10.19173/irrodl.v18i7.3037 estratégico en educación superior.
Maina, M. (2020). E-actividades para un Narcea.
aprendizaje activo. En A. Sangrá (coord.), Ruiz-Morales, Y. A. (2008). La evaluación
Decálogo para la mejora de la docencia educativa y su impacto en el rendimiento
on-line (81-98). UOC. académico de los estudiantes
Marcano, B., Íñigo, V., y Sánchez Ramírez, universitarios. Encuentro educacional,
J. M. (2020). Validación de rúbrica para 15(2), 230-239.
evaluación de e-actividades diseñadas Ruiz-Morales, Y. A. (2020). Evaluación
para el logro de competencias digitales formativa y compartida para el
docentes. Apuntes Universitarios, 10(2), desarrollo de competencias investigativas
115-129. [Link] en estudiantes universitarios. Educere.
au.v10i2.451 Sancho, T., y Borges, F. (2011). El aprendizaje
Marcelo, C., Murillo, P., y Marcelo, P. (2019). en un entorno virtual y su protagonista,
Diseño de módulos en líneas enriquecidos el estudiante virtual. UOC.
con tecnologías digitales. UTP. Sangrá, A. (2020). Decálogo para la mejora
Medina-Díaz, M., y Verdejo-Carrión, A. de la docencia on-line. UOC.
(2020). Validez y confiabilidad en la Silva, J. (2011). Diseño y moderación de
evaluación del aprendizaje mediante las entornos virtuales de aprendizaje (EVA).
metodologías activas. Alteridad, 15(2), UOC.
270-283. [Link] Silva, J. (2017). Un modelo pedagógico
v15n2.2020.10. virtual centrado en las E-actividades.
Moorhouse, B. L. (2020). Adaptations to RED. Revista de Educación a Distancia,
a face-to-face initial teacher education 53. [Link]
course ‘forced’ online due to the COVID-19 Stansfieled, L. M. (1999). Capabilities for
pandemic. Journal of Education for successful self-development. Kogan.
Teaching. [Link] Tumino, M. C., y Bournissen, J. M. (2020).
7476.2020.1755205 Integration of ICT in the classroom and
its impact on students: construction and

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 169-188.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 187
 J. Cabero-Almenara; A. Palacios-Rodríguez
La evaluación de la educación virtual: las e-actividades

validation of measurement scales. IJERI: Universidad de Maryland (2004). Using the

International Journal of Educational Web to Design Online Courses. UMUC.
Research and Innovation, (13), 62-73.
[Link]

PERFIL ACADÉMICO Y PROFESIONAL DE LOS AUTORES

Julio Cabero-Almenara. Adscrito al Departamento de Didáctica y

Organización Educativa de la a la Facultad de Ciencias de la Educación. Es director
del Grupo de Investigación Didáctica (GID-HUM 390), director del Secretariado
de Recursos Audiovisuales y Nuevas Tecnologías, editor jefe de la revista Pixel-Bit.
Revista de Medios y Educación y miembro fundador de Edutec. Ha participado en
numerosas publicaciones y cursos relacionados con la Tecnología Educativa. https://
[Link]/0000-0002-1133-6031
E-mail: cabero@[Link]

Antonio Palacios-Rodríguez. Graduado en Educación Primaria por la

Universidad de Sevilla. También ha realizado el Máster Universitario en Dirección,
Evaluación y Calidad de las Instituciones de Formación. Es miembro del Grupo
de Investigación Didáctica (GID-HUM 390): Análisis Tecnológico y cualitativo.
Actualmente trabaja como Contratado Predoctoral FPU en el Departamento de
Didáctica y Organización Educativa de la Facultad de Ciencias de la Educación,
Universidad de Sevilla. Su experiencia docente e investigadora está relacionada con
la Tecnología Educativa y la formación del profesorado. [Link]
0002-0689-6317
E-mail: aprodriguez@[Link]

DIRECCIÓN DE LOS AUTORES

Facultad de Ciencias de la Educación de la Universidad de Sevilla
Calle Pirotecnia s/n
41018-Sevilla (España

Fecha de recepción del artículo: 29/11/2020

Fecha de aceptación del artículo: 25/01/2021
Fecha de aprobación para maquetación: 11/02/2021

188 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 169-188.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
I.S.S.N.: 1138-2783

Rendimiento académico y deserción de

estudiantes universitarios de un curso en
modalidad virtual y presencial
(Academic Achievement and Dropout of University
Students from a Course in Both an Online and Face-to-
Face Modality)

Eduardo Gonzales Lopez

Inés Evaristo Chiyong
Universidad Tecnológica del Perú, UTP (Perú)

DOI: [Link]

Cómo referenciar este artículo:

Gonzales Lopez, E., y Evaristo Chiyong, I. (2021). Rendimiento académico y
deserción de estudiantes universitarios de un curso en modalidad virtual y
presencial. RIED. Revista Iberoamericana de Educación a Distancia, 24(2),
pp. 189-202. [Link]

Resumen

La crisis sanitaria ha generado una rápida expansión de la virtualidad en la educación

superior; incluso se espera que ésta mantenga una fuerte presencia, una vez superada la
pandemia. Sin embargo, en Perú existe una profunda desconfianza y percepción negativa
respecto de esta modalidad, por lo que se hace necesario realizar estudios que corroboren lo
que en otros países ha sido encontrado: que no deberían existir diferencias en el rendimiento
académico a partir de cualquier modalidad. No obstante, se ha encontrado una mayor tasa
de deserción en cursos virtuales, cuando se comparan con cursos presenciales, siendo las
explicaciones a este fenómeno, diversas. Teniendo todo esto en consideración, el presente
trabajo busca determinar el efecto de un curso en modalidad virtual en el rendimiento
académico y deserción de grupo de estudiantes universitarios de una universidad privada, en
comparación con un grupo de estudiantes bajo la modalidad presencial. Para ello, se llevó a
cabo un diseño cuasiexperimental con posprueba.
Los resultados respecto de cada una de las evaluaciones son variados; sin embargo, al
considerar el promedio final, no se observan diferencias estadísticas significativas; de la
misma manera, no se observaron diferencias respecto de la deserción, teniendo en cuenta
que ésta fue pequeña en ambos grupos. Los resultados se encuentran en la misma línea de
aquellos que indican que la modalidad en sí misma no es un factor determinante en ambas

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 189-202.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 189
 E. Gonzales Lopez; I. Evaristo Chiyong
Rendimiento académico y deserción de estudiantes universitarios de un curso en modalidad virtual y presencial

variables, sino que dependen de otros aspectos como es el caso de la labor del docente como
acompañante.

Palabras clave: educación a distancia; rendimiento; deserción.

Abstract

The health crisis has generated a rapid expansion of virtuality in higher education; it is
even expected that it will maintain a strong presence once the crisis is finished. However,
in Peru there is a deep mistrust and negative perception regarding this modality. For this
reason, it is necessary to carry out studies that corroborate what has been found in other
countries: that there should be no differences in academic performance based on any modality.
Nevertheless, a higher dropout rate has been found in virtual courses, when compared with
face-to-face courses, and the explanations for this phenomenon are diverse. Taking all this
into consideration, this current research aims to determine the effect of a course in virtual
modality on the academic performance and dropout of a group of university students from a
private university, compared to a group of students in the face-to-face modality. To do this, a
quasi-experimental design with post-test was carried out.
The results regarding each of the evaluations are varied; however, when considering
the final average, no statistically significant differences are observed; in the same way, no
differences were observed related to dropout, regarding that this difference was small in both
groups. The outcomes are in the same line as those that indicate that the modality itself is
not a determining factor in both variables, but rather depend on other aspects such as the
teachers’ work as a guide.

Keywords: online education; achievement; dropout.

Es innegable que en los últimos años la educación virtual se ha expandido

ampliamente, evidenciando un potencial importante para ayudar a superar aquellos
retos que la educación superior latinoamericana supone, brindando una ampliación
del acceso a la educación, mejoras en la calidad de la misma, así como la conexión
entre el sistema educativo y las demandas del mercado de trabajo (OECD, 2017);
además, a través de la educación virtual, existe mayor flexibilidad en cuanto a tiempo
y espacio para los estudiantes, facilita el acceso a la información, es más rentable y
puede llegar a ser más personalizado que otras modalidades (Arkorful y Abaidoo,
2015).
A partir del impacto de la pandemia por el COVID-19, la educación a distancia
se ha presentado como la única solución para garantizar la continuidad del
servicio educativo, aunque es evidente que no todos los países y, en específico, las
instituciones, tuvieron los recursos para poder implementarla asegurando un nivel
de calidad suficiente, de ahí que es usual referirse a esta modalidad como educación
remota de emergencia (Pedró, 2020). A pesar de ello, las instituciones educativas

190 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 189-202.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 E. Gonzales Lopez; I. Evaristo Chiyong
Rendimiento académico y deserción de estudiantes universitarios de un curso en modalidad virtual y presencial

han empezado a intensificar sus esfuerzos para que la modalidad a distancia deje
de ser solo “de emergencia” y permita que los estudiantes participen de una óptima
experiencia de aprendizaje, equiparable a la educación presencial. Así pues, incluso
superada esta situación de pandemia es muy probable que la implementación de
programas en modalidad virtual sea una prioridad para las instituciones educativas.
En el Perú la situación no es muy alentadora en comparación de muchos
países latinoamericanos, los cuales, en general, contaban con mayor cantidad de
programas semipresenciales o a distancia, antes de la pandemia (Barrios Ipenza y
Olivo Chang, 2019). Además, aún existe una amplia desconfianza respecto de este
tipo de educación, así como la percepción de tener una calidad inferior respecto
de la educación presencial; incluso, muchos padres y estudiantes sostienen que
este tipo de educación implica costos inferiores y, por tanto, se requieren mayores
reducciones en las tasas de matrículas, por cuenta del Gobierno o de las mismas
universidades. De esta manera, padres de familia y estudiantes han presentado
numerosos reclamos a los centros de estudio y la Superintendencia Nacional de
Educación Superior Universitaria (SUNEDU). A finales de abril del año 2020, esta
entidad informó haber recibido 252 denuncias y más de 3000 consultas. Un tercio
de ellas, aproximadamente, están relacionadas al dictado de clases en modalidad no
presencial (Figallo et al., 2020).
En general, el aprendizaje virtual se puede definir como el acceso a experiencias
de aprendizaje a través del uso de las tecnologías (Benson, 2002; Carliner, 2004;
Conrad, 2002, como se citaron en Moore et al., 2010) y puede incorporar tanto
trabajo individual y colaborativo, así como aprendizaje sincrónico y asincrónico
(Zeitoun, 2008, como se citó en Arkorful y Abaidoo, 2015). Si bien una de las
principales diferencias de la modalidad virtual respecto de la presencial es el
espacio en donde se imparte la instrucción, no se debe soslayar la importancia
de las estrategias utilizadas por el docente, quien debe realizar un conjunto de
acciones específicas para asegurar el éxito de su curso; así pues, no basta con el
mero cambio de modalidad. Por ejemplo, dentro de las estrategias de enseñanza-
aprendizaje más efectivas para la formación virtual, algunos autores destacan el
uso de la retroalimentación oportuna y de calidad, tanto individual como colectiva
(Martínez-Argüelles et al., 2015), mantener una secuencia clara de las actividades a
realizar, monitorear la entrega de tareas y hacer seguimiento a los estudiantes sobre
ello (Ragan, 2012), fomentar la participación multidireccional, e incluir espacios
sincrónicos, como las videoconferencias (Bautista Pérez et al., 2006). En el presente
estudio, se ha procurado incorporar estas buenas prácticas.
Si bien la educación virtual ofrece posibilidades prometedoras, es necesario
conocer si los resultados de ésta son equiparables a los resultados obtenidos en la
educación presencial; es decir, necesitamos responder a la pregunta ¿qué modalidad
tiene los mejores efectos en el rendimiento académico de los estudiantes?
En el Perú, hay escasa información al respecto: en un reciente estudio, no se
encontraron diferencias significativas entre los resultados de un curso presencial

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 189-202.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 191
 E. Gonzales Lopez; I. Evaristo Chiyong
Rendimiento académico y deserción de estudiantes universitarios de un curso en modalidad virtual y presencial

y otro semipresencial (Dasso Vassallo y Evaristo Chiyong, 2020); sin embargo, no

se han reportado estudios en donde se comparen cursos presenciales con cursos
totalmente virtuales. En otros países, se han realizado numerosas investigaciones
comparando ambas modalidades en las últimas décadas. Los resultados varían de
acuerdo con el tipo de curso, las características de los estudiantes y la instrucción
que se brindó (Slater, 2004); pero, en general, los hallazgos indican que no existen
diferencias significativas al utilizar diferentes modalidades.
Bailey (2020) comparó las modalidades presencial, híbrido y virtual en una
universidad pública norteamericana respecto de tres variables: el logro académico,
la persistencia y la satisfacción de los estudiantes, los resultados apoyan la literatura
existente que refiere que no existen diferencias significativas, sugiriendo que los
administradores e instructores deben continuar ampliando el acceso a cursos de
modalidad virtual y semipresencial.
En el 2019, Ebner y Gegenfurtner encontraron que los webinars (espacios
sincrónicos) son, a nivel descriptivo, más efectivos que el aprendizaje presencial y
que la instrucción asincrónica online; sin embargo, las diferencias entre los webinars
y las otras dos modalidades fueron marginales y estadísticamente no significativas.
En resumen, se podría asumir que las tres modalidades tienden a ser igualmente
efectivas para el aprendizaje.
Por su parte, Soffer y Nachmias (2018) en una universidad de Tel Aviv, compararon
la efectividad de 3 cursos en línea con los mismos cursos en formato presencial con
similares características. Los resultados indican que existen diferencias significativas
entre ambos. Los estudiantes de la modalidad virtual reportaron mejor comprensión
de la estructura del curso, mejor comunicación con el personal del curso, mayor
compromiso y satisfacción. Sin embargo, los estudiantes de la modalidad presencial
reportaron que hubo una mejor contribución del curso a su aprendizaje. Finalmente,
las calificaciones de los estudiantes de la modalidad virtual fueron más altas, aunque
no hubo diferencias en la tasa de completamiento. Estos hallazgos contribuyen a la
noción que, en muchos de los aspectos examinados, los cursos virtuales son tan o
más efectivos que los presenciales.
Cooper et al. (2006, como se citó en Clark y Mayer, 2016) también coinciden
en que la educación virtual y presencial pueden ser igual de efectivas y, más bien,
una de las variables que tiene mayor impacto en el aprendizaje, es la calidad de la
instrucción. De esta manera, es más probable que un estudiante que participa de
un curso en línea bien diseñado aprenda de manera significativa y más efectiva en
comparación con un curso pobremente planificado e implementado. En general, la
evidencia parece indicar que son los métodos instruccionales aquellos que tienen
mayor efecto en el aprendizaje y no la modalidad (Clark, 2001, como se citó en Clark
y Mayer, 2016).
Además del rendimiento académico, la deserción es otra variable importante
para analizar cuando se compara la educación virtual con la presencial; esta es un
fenómeno con consecuencias negativas que afecta diferentes niveles de la persona

192 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 189-202.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 E. Gonzales Lopez; I. Evaristo Chiyong
Rendimiento académico y deserción de estudiantes universitarios de un curso en modalidad virtual y presencial

y su entorno. Por ejemplo, aquellos estudiantes que no concluyen sus estudios son
subempleados y no pueden obtener los ingresos económicos que esperan (González
y Girón, 2005). En el caso del Perú, los niveles de deserción universitaria tienen una
alta heterogeneidad, con instituciones de gran población universitaria presentando
altas tasas de deserción, independientemente de la modalidad (Barrios Ipenza y
Olivo Chang, 2019).
La deserción es un fenómeno complejo multideterminado, Vázquez y Rodríguez
(2007, como se citó en La Madriz, 2016), consideran los siguientes factores
relacionados con la deserción: la integración social y compromiso institucional
e individual del estudiante, su capacidad intelectual, compromiso académico e
identificación profesional, así como los factores socioeconómicos, educativos y
demográficos. En esta misma línea, se ha reportado que los estudiantes peruanos
que interrumpieron sus estudios universitarios, pero los retomaron, tuvieron como
principales razones las dificultades económicas, trabajo, motivos familiares y
enfermedad (Barrios Ipenza y Olivo Chang, 2019).
Algunos autores como Álvarez y López (2017) y Vásquez y Rodríguez (2007)
y Cho y Heron, 2015; Frankola 2001; Hachey et al. (2013, como se citaron en
Grau-Valldosera et al., 2019) han comparado la deserción en la modalidad virtual
y presencial, concluyendo que ésta es mayor en la modalidad virtual que en la
presencial. Si bien no se tienen datos en el contexto peruano, en otros países
latinoamericanos como Colombia, la tasa de abandono en programas presenciales
es del 48%, mientras que en programas a distancia es del 60% (MEN, 2009).
Esto podría explicarse debido a las diferencias entre la metodología de ambas
modalidades, así como los diferentes perfiles; específicamente, los estudiantes de
la modalidad virtual suelen ser adultos que trabajan con obligaciones familiares y,
por ende, cuentan con menor tiempo para los estudios. Escanés et al. (2014) indican
que muchos estudiantes que escogen esta modalidad pueden presentar dificultades
de gestión del tiempo, las cuales podrían estar influenciadas por sus obligaciones
familiares y/o laborales producto de dificultades económicas y/o un ingreso tardío a
la educación universitaria. Si estas problemáticas de índole personal se mantienen,
si se agravan las limitaciones que estas dificultades implican para el desarrollo de
sus proyectos educativos personales, o si se debilitan mecanismos que les permitan
sobrellevarlas, la deserción está prácticamente asegurada.
Sintetizando las posibles causas de la deserción en modalidad virtual, Lee y
Choi (2011) identificaron tres macro factores, los cuales se mencionan en orden de
frecuencia. En primer lugar, se encuentran los factores del estudiante, dentro de
los cuales están los atributos psicológicos, habilidades y experiencias relevantes,
así como antecedentes académicos. En segundo lugar, se encuentran los factores
ambientales, dentro de los que se encuentran los ambientes de apoyo para el estudio
y compromisos laborales. Finalmente, se encuentran los factores relacionados con el
curso, dentro de los que se hallan las interacciones, apoyo institucional y diseño del
curso.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 189-202.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 193
 E. Gonzales Lopez; I. Evaristo Chiyong
Rendimiento académico y deserción de estudiantes universitarios de un curso en modalidad virtual y presencial

En conclusión, si bien la investigación internacional indica que las diferencias

respecto del rendimiento académico entre ambas modalidades se pueden deber a
variables como la calidad de las estrategias y no al propio medio y que la educación
virtual parece tener mayores tasas de deserción, en el Perú no existen investigaciones
que puedan corroborarlo. A esto se suma la percepción de que la educación en línea
es, en general, inferior a la modalidad presencial. Considerando lo ya mencionado,
la presente investigación busca responder a la pregunta, ¿Cuál es el efecto de un
curso en modalidad virtual en el rendimiento académico y deserción de grupo de
estudiantes universitarios de una universidad privada, en comparación con un grupo
de estudiantes bajo la modalidad presencial?

METODOLOGÍA

Diseño

El alcance de este trabajo fue explicativo, con un diseño cuasiexperimental

debido a que se manipuló una variable independiente para observar su efecto
sobre dos variables dependientes con grupos intactos (Hernández et al., 2014);
específicamente, se utilizó un diseño con posprueba únicamente y grupo de control;
de esta manera, al concluirse la manipulación de la variable independiente, a ambos
grupos se les administró una medición sobre las variables dependientes en estudio.
Para esta investigación, se consideró como variable independiente el curso
Estadística Descriptiva y Probabilidades bajo la modalidad virtual. Las variables
dependientes fueron el rendimiento académico y la deserción del curso; el
rendimiento se operacionalizó como las calificaciones obtenidas por los estudiantes
en todas las actividades de evaluación sumativa del curso; es decir, tres prácticas, una
evaluación parcial, un examen final, un trabajo final y la evaluación permanente, así
como el promedio final. Por su parte, la deserción del curso se operacionalizó como
la cantidad de alumnos que dejaron de asistir a las clases y no se reincorporaron
durante el semestre, así como aquellos estudiantes que formalizaron su retiro.

Participantes

La selección de los participantes fue conformada a partir de un muestreo

intencional, quienes fueron estudiantes del primer ciclo del curso Estadística
Descriptiva y Probabilidades de una universidad privada con sede en Lima. Es
importante mencionar que los estudiantes pertenecientes al grupo experimental no
tuvieron experiencia previa en la modalidad virtual, por lo menos en la institución
en donde se realizó el estudio.
Para el análisis de la deserción, se trabajó con un total de 39 estudiantes asignados
para el grupo control, de los cuales fueron 35 hombres y 4 mujeres, mientras que en el

194 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 189-202.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 E. Gonzales Lopez; I. Evaristo Chiyong
Rendimiento académico y deserción de estudiantes universitarios de un curso en modalidad virtual y presencial

grupo experimental se contó con 28 estudiantes, de los cuales fueron 2 mujeres y 26

hombres. Respecto del análisis del rendimiento académico, no se consideraron a los
estudiantes retirados, por lo que se contó con un total de 37 estudiantes asignados al
grupo control, de los cuales fueron 4 mujeres y 33 hombres; mientras que en el grupo
experimental fueron 24 estudiantes, de los cuales fueron 2 mujeres y 22 hombres.

Instrumentos

La variable de rendimiento académico se midió utilizando las calificaciones

asignadas a cada estudiante de acuerdo con el registro de notas. Para medirla se
utilizó la calificación vigesimal, haciendo un total de 20 puntos.
Las evaluaciones consistieron en lo siguiente: las prácticas, el examen parcial y
final implicaron el análisis de casos realizados de manera individual, con respuestas
correctas únicas y llevadas a cabo de manera sincrónica. Por su parte, el trabajo final
fue una actividad colaborativa, realizada a lo largo de varias semanas de manera
asincrónica, para luego ser presentada de manera sincrónica al final del semestre.
Finalmente, la evaluación permanente consistió en la calificación asignada a las
participaciones de los estudiantes, revisión de los contenidos virtuales y obtención
de las insignias digitales. Por su parte, la deserción fue medida a través del registro
de asistencia, así como los reportes formales de retiro del curso.

Procedimiento

Para crear el curso virtual, se realizó una adaptación del curso en modalidad
presencial, manteniendo los objetivos y contenidos, ajustándose tanto las estrategias
instruccionales como los recursos de aprendizaje. Así pues, se diseñaron videos
sobre el contenido temático semanal con el mismo docente dictante y se adaptaron
también las evaluaciones presenciales a la modalidad virtual. Adicionalmente, se
incorporó un programa de insignias digitales, el cual consistió en asignar monedas y
medallas virtuales a los estudiantes que cumplían con una serie de actividades. Todo
ello se implementó en la plataforma virtual educativa Canvas.
Respecto de las funciones del docente virtual, se le asignó un conjunto de
acciones semanales a realizar; incluyendo el envío de anuncios, moderación del foro
de consultas, revisión de las actividades y realización de videoconferencias. Para ello,
fue previamente capacitado.
Es importante mencionar que ambas versiones del curso tuvieron una duración de
14 semanas y el mismo docente estuvo a cargo de ambas. Además, esta investigación
se realizó antes del contexto de la pandemia producida por el COVID-19.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 189-202.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 195
 E. Gonzales Lopez; I. Evaristo Chiyong
Rendimiento académico y deserción de estudiantes universitarios de un curso en modalidad virtual y presencial

RESULTADOS

Para realizar el análisis estadístico de ambos grupos se utilizó el paquete

estadístico SPSS (Statistical Package for Social Sciences) versión 25. Primero se
realizó el análisis del rendimiento académico, cuyos resultados descriptivos se
pueden observar en la tabla 1. Respecto de los análisis inferenciales, se corroboró el
cumplimiento de las condiciones necesarias para poder llevar a cabo la comparación
de muestras independientes usando una prueba paramétrica (Coolican, 2014). Para
comprobar el supuesto de normalidad, se utilizó el análisis de Shapiro-Wilks; sin
embargo, los resultados indican que los puntajes de ambos grupos no se aproximan
a una distribución normal debido a que los valores de p fueron, en su mayoría,
inferiores a 0.001. Considerando estos resultados, se decidió utilizar la prueba no
paramétrica U de Mann-Whitney.
En el caso de la práctica 1, se rechaza la hipótesis nula, por lo que se concluye
que la distribución de las medias es diferente en ambos grupos, a favor del grupo
experimental; ello debido a que p<0.0001. Adicionalmente, se halló el tamaño del
efecto para cada una de las evaluaciones, éste se refiere al tamaño de la diferencia
o relación que se encuentra en el estudio (Howitt y Cramer, 2017). Así pues, para
la práctica 1, el tamaño del efecto fue grande, debido a que g=0.99. En el caso de la
práctica 2, se acepta la hipótesis nula debido a que la distribución de las medias es
igual entre ambos grupos, teniendo en cuenta que p=0.082, mientras que el tamaño
del efecto fue pequeño, debido a que g=0.25.
Respecto de la evaluación parcial, se rechaza la hipótesis nula que indica que la
distribución de las medias es la misma en el grupo control y experimental, debido a
que p=0.040. Así pues, se encontró una diferencia a favor del grupo experimental.
Por su parte, el tamaño del efecto fue pequeño, debido a que g=0.21. Teniendo en
cuenta la práctica 3, se acepta la hipótesis nula que indica que la distribución es la
misma entre ambos grupos, debido a que p=0.309. Por su parte, el tamaño del efecto
es pequeño debido a que g=0.20.
Considerando el trabajo final, se rechaza la hipótesis nula que indica que la
distribución de las medias es igual, debido a que p<0.0001; así pues, la diferencia
encontrada fue a favor del grupo control, mientras que el tamaño del efecto fue
grande debido a que g=1.27. Respecto de la evaluación permanente, se rechaza la
hipótesis nula que indica que la distribución de las medias es la misma, debido a que
p<0.001, con una diferencia a favor del grupo control. Además, el tamaño del efecto
fue grande, debido a que g=0.85.
En el caso del examen final, los resultados nos llevan a aceptar la hipótesis nula, la
cual indica que la distribución de las medias es la misma para ambos grupos, debido
a que p= 0.38. Además, el tamaño del efecto fue de g=0.15. Por último, respecto del
promedio final, los resultados nos llevan a aceptar la hipótesis nula, la cual indica
que la distribución de las medias en ambos grupos es igual, pues la probabilidad es

196 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 189-202.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 E. Gonzales Lopez; I. Evaristo Chiyong
Rendimiento académico y deserción de estudiantes universitarios de un curso en modalidad virtual y presencial

0.34, superior al .05. Además, el tamaño del efecto fue pequeño, debido a que g=
0.32.

Tabla 1
Estadísticos descriptivos respecto del promedio final

Prome- Examen Evaluac. Trabajo Prác. Prác. Prác.

Grupo Parc
dio final final perm final 3 2 1
Media 13.51 8.33 16.14 16.03 11.97 14.14 15.16 14.27
Mediana 14.00 8.00 18.00 18.00 14.00 15.00 16.00 15.00
Varianza 7.04 20.10 24.38 18.81 28.80 11.07 12.64 12.04
Control
Desv. 2.65 4.48 4.94 4.34 5.37 3.33 3.56 3.47
Mínimo 3.00 0.01 0.01 0.00 0.01 7.00 6.00 4.00
Máximo 16.00 19.00 20.00 19.00 19.00 20.00 20.00 20.00
Media 12.38 9.21 11.88 8.96 13.13 15.13 16.21 17.67
Mediana 13.50 12.00 12.50 7.00 15.00 18.00 18.00 20.00
Experi- Varianza 22.33 53.51 25.51 49.69 39.92 40.28 25.12 11.01
mental Desv. 4.73 7.31 5.05 7.05 6.32 6.35 5.01 3.32
Mínimo 1.00 0.01 3.00 0.01 0.01 0.00 0.01 8.00
Máximo 19.00 19.00 19.00 18.00 20.00 20.00 20.00 20.00
Fuente: elaboración propia

Respecto de la deserción, fueron solo 2 los estudiantes retirados del grupo

control y 4 del experimental; así pues, las cantidades fueron bastante bajas en ambas
modalidades. Aun así, se realizó el análisis inferencial utilizando la prueba exacta
de Fisher, debido a que ambas variables eran nominales y la frecuencia esperada en
dos de las cuatro celdas es menor de 5. Con los resultados obtenidos se comprueba
la hipótesis nula de que las dos variables son independientes, debido a que: el valor
de p=0.390 es menor que el nivel de significación 0.05.

Tabla 2
Comparación entre modalidades respecto de alumnos matriculados y retirados

Control Experimental
Estudiantes matriculados 39 28
Estudiantes retirados 2 4
Cantidad de estudiantes que finalizaron el curso 37 24
Fuente: elaboración propia

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 189-202.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 197
 E. Gonzales Lopez; I. Evaristo Chiyong
Rendimiento académico y deserción de estudiantes universitarios de un curso en modalidad virtual y presencial

DISCUSIÓN

En general, se pueden observar diferencias respecto del rendimiento de

los estudiantes en algunas de las evaluaciones realizadas; sin embargo, esta
diferencia no se refleja al considerar el promedio final, lo cual permite inferir que
los aprendizajes fueron similares. En ambos grupos se puede observar que las
calificaciones son heterogéneas: hay una varianza elevada en ambos grupos, pero
mayor en el experimental. Así pues, hubo estudiantes que alcanzaron puntuaciones
promedio tan bajas como 1. Al indagar con el docente por estos casos, refirió que
son alumnos cuya situación era incierta, debido a que mantuvieron presencia
inconstante en el curso y la comunicación con ellos fue difícil de establecer. Se
sospecha que estos alumnos pudieron haber presentado situaciones personales y/o
familiares no informadas al docente, que les impidieron rendir apropiadamente
sus evaluaciones y, progresivamente, su participación en el curso fue decayendo;
así también, se infiere que tuvieron dificultades serias de conectividad. Sobre este
último punto, vale la pena mencionar que, al inicio del curso se identificó que el 70%
de los alumnos encuestados contaban con equipos que cumplían con procesadores
y memoria mínimos para poder participar de las videoconferencias, siendo este
un indicador de su bajo nivel económico. Esto tiene relación con lo mencionado
por Ferreyra et al. (2017), quienes indican que las características promedio de los
individuos que ingresan a la educación superior en los últimos años han cambiado:
hay mayor presencia de estudiantes con menores ingresos económicos, con mayores
probabilidades de tener una preparación académica menor y ser los primeros en su
familia en acceder a la educación superior.
Centrándonos en cada una de las actividades de evaluación, en la primera
práctica calificada se observa una diferencia significativa y tamaño del efecto
grande a favor del grupo experimental, esto podría explicarse debido al efecto de
la novedad del formato virtual, siendo esta la primera actividad calificada, lo cual
podría corroborarse por la disminución del promedio de notas obtenido por el grupo
experimental hasta la quinta evaluación.
Otra diferencia significativa con tamaño del efecto grande se dio en el trabajo
final, en donde el grupo control obtuvo mejores calificaciones. Una posible
explicación a estos resultados tiene que ver con el menor tiempo que el docente
dedicó a las asesorías sincrónicas previas a la actividad final en la modalidad virtual;
así pues, esto ocurrió debido a que la carga de trabajo fue mayor en el curso virtual,
específicamente, el docente indicó que el aprendizaje de estrategias instruccionales
virtuales, el uso de la plataforma educativa y otras herramientas virtuales, así como
el diseño y desarrollo de su aula virtual, le significó un incremento importante
en el tiempo dedicado al curso. Considerando que el trabajo final requería de
retroalimentación continua, esta reducción del tiempo dedicado al asesoramiento
pudo ser una variable importante que afectó el rendimiento de los estudiantes.
Esto concuerda con lo referido por Ward et al. (2010), quienes indicaron que los

198 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 189-202.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 E. Gonzales Lopez; I. Evaristo Chiyong
Rendimiento académico y deserción de estudiantes universitarios de un curso en modalidad virtual y presencial

estudiantes universitarios de su estudio percibieron las clases con comunicación

sincrónica con una mayor calidad instruccional en comparación con otros métodos
asincrónicos.
Los resultados del grupo experimental también pudieron haberse influenciado
por otras variables no controladas, las cuales pudieron afectar el rendimiento
académico de este grupo; por ejemplo, debido a que las evaluaciones se realizaron de
manera virtual, no se pudo eliminar en su totalidad la probabilidad de plagio; si bien
se tomaron algunas medidas para evitar ello, como la aleatorización de las preguntas
y el uso del tiempo límite, éstas pueden resultar insuficientes, teniendo en cuenta
que, de manera global, el uso del internet parece incrementar el plagio (Lyon et al.,
2006, como se citó en Youmans, 2011).
A pesar de las limitaciones del presente trabajo, estos resultados apoyan
lo afirmado por Dell et al. (2010), quienes refieren que hay una tendencia en los
estudios de este tipo que lleva a concluir que el rendimiento de los estudiantes se ve
influenciado más por el diseño y las estrategias utilizadas que de la modalidad. Con
diseños rigurosos, independientemente de la modalidad, los resultados no deberían
diferir significativamente.
Respecto de la deserción, la cantidad de estudiantes retirados en ambos cursos
fue pequeña, pero ligeramente mayor en el grupo experimental; sin embargo,
los resultados del presente trabajo son insuficientes para poder corroborar que,
efectivamente, la deserción es significativamente mayor en la modalidad virtual en
comparación con la presencial.
Analizando con mayor detalle estos casos específicos, se encontró que estos
alumnos fueron parte del grupo de estudiantes que no contaban con los requisitos
mínimos para llevar a cabo las sesiones sincrónicas de manera apropiada, incluso,
algunos de ellos se encontraban dentro del 12,9% de estudiantes que disponía del
smartphone como único medio para participar de sus clases virtuales. Debemos
tener en cuenta que los participantes de esta investigación no estaban llevando su
carrera en modalidad virtual ni semipresencial, sino más bien presencial, siendo
esta una experiencia piloto, por lo que es comprensible que muchos estudiantes no
cuenten con los recursos mínimos para esta modalidad. Esto refleja la importancia
de comunicar a los estudiantes que se matriculan, qué recursos y conocimientos se
espera que tengan para participar de manera óptima del proceso de aprendizaje en
modalidad virtual.
Asimismo, es probable que también hayan influenciado otras variables de tipo
económico, laboral social, familiar, emocional, etc. Por ejemplo, se identificó que por
lo menos el 49% de los estudiantes se encontraban trabajando a tiempo completo,
contando con menos tiempo durante la semana para dedicarse exclusivamente a sus
cursos.
Si bien Lee y Choi (2011) consignaron los factores del estudiante como las más
frecuentes al momento de explicar la deserción, en este estudio se han identificado
más bien las variables ambientales como las que podrían tener un mayor impacto.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 189-202.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 199
 E. Gonzales Lopez; I. Evaristo Chiyong
Rendimiento académico y deserción de estudiantes universitarios de un curso en modalidad virtual y presencial

Asimismo, considerando que esta propuesta es de hace casi una década, es natural
que las variables personales relacionadas con las habilidades tecnológicas no tengan
tanto impacto ahora, considerando que los estudiantes hacen uso frecuente de
herramientas tecnológicas.
En conclusión, este trabajo se encuentra en la misma línea de otros estudios, en
tanto la modalidad no parece ser un factor determinante al momento de asegurar el
rendimiento académico de los estudiantes, sino más bien la labor del instructor, en
especial como tutor acompañante, así como de las estrategias que usa. En el caso de
la deserción, si bien no hubo diferencias significativas, el análisis pareciera indicar
que las variables no pedagógicas juegan un rol muy importante en la permanencia
de los alumnos, por lo que queda para futuras investigaciones explorar con mayor
profundidad las diferencias entre ambas modalidades y las variables que pueden
estar causando un mayor impacto.

REFERENCIAS

Álvarez, P. R., y López, D. (2017). Estudios files/Prospectiva-Educacio%CC%81n.

sobre deserción académica y medidas pdf#page=167
orientador de prevención en la Bautista Pérez, G., Borges Sáiz, F., y Forés,
Universidad de La Laguna (España). A. (2006). Didáctica universitaria en
Revista Paradigma, 38(1), 48-71. Entornos Virtuales. Narcea.
Arkorful, V., y Abaidoo, N. (2015). The role of Clark, R. C., y Mayer, R. E. (2016). e-Learning
e-learning, advantages and disadvantages and the Science of Instruction. Proven
of its adoption in higher education. Guidelines for Consumers and Designers
International Journal of Instructional of Multimedia Learning (Fourth ed.).
Technology & Distance Learning, 12(1), John Wiley & Sons, Inc. [Link]
29-43. org/10.1002/9781119239086
Bailey, L. M. (2020). Comparing Coolican, H. (2014). Research Methods
Students’ Learning Outcomes and and Statistics in Psychology
Satisfaction in Online, Hybrid and (Sixth ed.). Routledge. [Link]
Face-To-Face Education Courses. org/10.4324/9780203769669
Dissertation, Temple University. Dasso Vasallo, A., y Evaristo Chiyong,
[Link] I. (2020). Análisis de resultados del
bitstream/handle/20.500.12613/292/ aprendizaje presencial y aprendizaje
Bailey_temple_0225E_14160. semipresencial en dos cursos
pdf?sequence=1&isAllowed=y universitarios. Educación, 29(57),
Barrios Ipenza, E., y Olivo Chang, D. 27-42. [Link]
(2019). La educación a distancia educacion.202002.002
como oportunidad de equidad y Dell, C. A., Low, C., y Wilker, J. F. (2010).
democratización en el Perú. En C. Rama Comparing Student Achievement in
Vitale, y M. Morocho Quezada (Edits.), Online and Face-to-Face Class Formats.
Prospectiva de la Educación a Distancia MERLOT Journal of Online Learning
en América Latina y el Caribe (pp. and Teaching, 6(1), 30-42.
167-168). EDILOJA Cía. Ltda. http:// Ebner, C., y Gegenfurtner, A. (2019).
[Link]/sites/default/files/ Learning and Satisfaction in Webinar,

200 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 189-202.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 E. Gonzales Lopez; I. Evaristo Chiyong
Rendimiento académico y deserción de estudiantes universitarios de un curso en modalidad virtual y presencial

Online, and Face-to-Face Instruction: Lee, Y., y Choi, J. (2011). A review of online
A Meta-Analysis. Front. Educ., course dropout research: implications for
4(92), 1-11. [Link] practice and future research. Educational
feduc.2019.00092 Technology Research and Development,
Escanés, G., Herrero, V., Merlino, A., y 59, 593-618. [Link]
Ayllón, S. (2014). Deserción en educación s11423-010-9177-y
a distancia: factores asociados a la elección Martínez-Argüelles, M. J., Plana, D.,
de modalidad como desencadenantes Hintzmann, C., Batalla-Busquets, J.-
del abandono universitario. Virtualidad, M., y Badia, M. (2015). Usefulness of
Educación y Ciencia, 5(9), 45-55. feedback in e-learning from the students’
Ferreyra, M., Avitabile, C., Botero, J., perspective. Intangible Capital, 11(4),
Haimovich, F., y Urzúa, S. (2017). At a 627-645. [Link]
Crossroads: Higher Education in Latin Ministerio de Educación Nacional (2009).
America and the Caribbean. Directions Deserción Estudiantil en la Educación
in Development. World Bank. [Link] superior colombiana. Metodología de
org/10.1596/978-1-4648-0971-2 seguimiento, diagnóstico y elementos
Figallo, F., González, M. T., y Diestra, V. para su prevención. Revolución
(2020). Perú: Educación Superior en el Educativa. MEN.
Contexto de la Pandemia por el COVID-19. Moore, J. L., Dickson-Deane, C., y Galyen,
ESAL - Revista de Educación Superior K. (2010). e-Learning, online learning,
en América Latina, 20-28. [Link] and distance learning environments:
org/10.14482/esal.8.378.85 Are they the same? Internet and Higher
González, D. y Girón, L. (2005). Education. [Link]
Determinantes del rendimiento iheduc.2010.10.001
académico y la deserción estudiantil en OECD. (2017). La educación a distancia en
el programa de Economía de la Pontificia la educación superior en América Latina.
Universidad Javeriana de Cali. Economía, Pedró, F. (2020). Covid-19 y educación
Gestión y Desarrollo, 3, 173-201. superior en América Latina y Caribe:
Grau-Valldosera, J., Miguillón, J., y Blasco- Efectos, impactos y recomendaciones
Moreno, A. (2019). Returning after políticas. Fundación Carolina, 1-15.
taking a break in online distance higher [Link]
education: from intention to effective Ragan, L. (2012). 10 Principles of Effective
re-enrolment. Interactive Learning Online Teaching: Best Practices in
Environments, 27(3), 307-323. https:// Distance Education. Faculty Focus.
[Link]/10.1080/10494820.2018.147098 Magna.
6 Slater, B. (2004). A comparison of online
Hernández, R., Fernández, C., y Baptista, P. and face-to-face instruction in an
(2014). Metodología de la investigación undergraduate. Contemporary Issues in
(Sexta ed.). McGraw-Hill / Interamericana Technology and Teacher, 4(2), 196-213.
Editores, S.A. de C.V. Soffer, T., y Nachmias, R. (2018).
Howitt, D., y Cramer, D. (2017). Research Effectiveness of learning in online
Methods in Psychology (Fifth ed.). academic courses compared with face-
Pearson Education Limited. to-face courses in higher education.
La Madriz, J. (2016). Factores que Journal of Computer Assisted Learning,
promueven la deserción del aula virtual. 34(5), 535-543. [Link]
Revista Científica Electrónica de Ciencias jcal.12258
Humanas, 35(12), 18-40.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 189-202.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 201
 E. Gonzales Lopez; I. Evaristo Chiyong
Rendimiento académico y deserción de estudiantes universitarios de un curso en modalidad virtual y presencial

Vásquez, C. R., y Rodríguez, M. C. (2007). International Review of Research in

La deserción estudiantil en educación Open and Distance Learning, 11(3), 57-77.
superior a distancia: perspectiva [Link]
teórica y factores de incidencia. Revista Youmans, R. J. (2011). Does the adoption of
Latinoamericana de Estudios Educativos, plagiarism-detection software in higher
37(3-4), 107-122. education reduce plagiarism? Studies in
Ward, M. E., Peters, G., y Shelley, K. (2010). Higher Education, 1-13. [Link]
Student and Faculty Perceptions of the 10.1080/03075079.2010.523457
Quality of Online Learning Experiences.

PERFIL ACADÉMICO Y PROFESIONAL DE LOS AUTORES

Eduardo Gonzales Lopez. Licenciado en Psicología por la Universidad

Nacional Mayor de San Marcos y Magíster en Docencia Universitaria y Gestión
Educativa por la Universidad Tecnológica del Perú. Especialista en Diseño Curricular
de la Facultad de Gestión de la Pontificia Universidad Católica del Perú. Sus líneas
de investigación se centran en programas formativos semipresenciales y virtuales en
educación superior. En su trabajo reciente ha profundizado en el uso de las insignias
digitales. [Link]
E-mail: egonzaleslopez@[Link]

Inés Evaristo Chiyong. Licenciada en Psicología Educacional por la Pontificia

Universidad Católica del Perú (PUCP). Magíster en Enseñanza y Aprendizaje Abiertos
y a Distancia por la UNED-España. Egresada de la Maestría en Políticas Educativas
por la PUCP. Directora de Aprendizaje Virtual de la Universidad Tecnológica del
Perú. Docente del Departamento de Psicología PUCP. Sus líneas de investigación
se centran en el aprendizaje virtual, educación a distancia, innovación educativa y
metodologías de aprendizaje. [Link]
E-mail: ievaristo@[Link]

DIRECCIÓN DE LOS AUTORES

Universidad Tecnológica del Perú
Jirón Natalio Sánchez 125
Lima (Perú)

Fecha de recepción del artículo: 15/12/2020

Fecha de aceptación del artículo: 14/03/2021
Fecha de aprobación para maquetación: 18/03/2021

202 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 189-202.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
I.S.S.N.: 1138-2783

Una experiencia de diseño de una tarea de

evaluación sumativa en formato transmedia
para formación inicial de profesorado
(Educational Design Research of a Summative
Evaluation Task in Transmedia Form for Initial
Teacher’s Preservice Training)

Linda Castañeda
Universidad de Murcia (España)

DOI: [Link]

Cómo referenciar este artículo:

Castañeda, L. (2021). Una experiencia de diseño de una tarea de evaluación
sumativa en formato transmedia para formación inicial de profesorado. RIED.
Revista Iberoamericana de Educación a Distancia, 24(2), pp. 203-224. https://
[Link]/10.5944/ried.24.2.29148

Resumen

La importancia de llevar a cabo procesos de evaluación formativa y sumativa que se

complementen y enriquezcan la experiencia de aprendizaje del estudiantado, es una de las
premisas de los modelos de evaluación de aprendizajes de los últimos 40 años. Sin embargo,
la mayoría de los esfuerzos en investigación se han centrado en potenciar la evaluación
formativa y la retroalimentación derivada de ella, y muy poco se ha escrito sobre experiencias
de evaluación sumativa que vayan más allá del control y que desafíen las prácticas evaluativas
tradicionales en Educación Superior. Este trabajo tiene como objetivo identificar las
características principales que describen una tarea de evaluación sumativa concreta que
cumple con las expectativas de certificación propias de un curso universitario, pero que a la
vez ofrece una experiencia potencialmente educativa para los estudiantes, tanto desde el punto
de vista cognitivo como metacognitivo. Para ello se presenta bajo el enfoque de investigación
naturalista basada en el diseño (IBD), un estudio de caso a lo largo de 8 años y 5 iteraciones
–4 de diseño y 1 de implementación de prototipo final– en el que se ha diseñado una tarea
de evaluación sumativa final individual y transmedia y en el que se usan evidencias no
intrusivas para la colección de los datos. En el diseño final, destacan los elementos de diseño
de contenidos de la tarea que se describen en las conclusiones de este trabajo, y elementos
como la reflexión, la comunicación de los objetivos de logro a través de rúbricas, el manejo del
tiempo y la complementariedad de los medios expresivos, que aparecen como características

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 203-224.

DOI: h[Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 203
 L. Castañeda
Una experiencia de diseño de una tarea de evaluación sumativa en formato transmedia para formación inicial de profesorado

destacadas de un diseño que pretende acercarse a los principios del aprendizaje conectado
como ideal para encarar los condicionantes del momento en que nos encontramos.

Palabras clave: evaluación sumativa; aprendizaje conectado; tareas de conocimiento;

reflexión; evaluación transmedia.

Abstract

The importance of conducting formative and summative assessment processes that

complement and enrich the student learning experience is one of the premises of the learning
assessment models of the last 40 years. However, most research efforts have been focused
on enhancing formative assessment and the feedback derived from it, and very little has
been written about summative assessment experiences that go beyond surveillance and
challenge traditional assessment practices in Higher Education. This paper aims to identify
the main characteristics that describe a particular summative assessment task which fulfils
the certification expectations of a university course but, at the same time, offers a potentially
educational experience for students, both from a cognitive and metacognitive point of view.
For this purpose, a case study is presented in the format of educational design research based
on the IBD design, being this case study over 8 years and 5 iterations - 4 of design and 1
of final prototype implementation - in which a final individual and transmedia summative
assessment task has been designed. In the final design, the design elements of the task
contents described in the conclusions of this work stand out, as well as the elements such as
reflection, communication of the achievement objectives through rubrics, time management
and the complementarity of the expressive media, which appear as outstanding characteristics
of a design that intends to approach the principles of networked learning as ideal to face the
conditioning factors of the moment in which we are in.

Keywords: summative assessment; networked learning; knowledge tasks; reflection;

transmedia assessment.

En la evaluación de aprendizajes de los estudiantes se ha escrito reiteradamente

acerca de la importancia de recoger datos en diferentes modalidades y de diversificar
las evidencias que se recogen sobre los aprendizajes (Secolsky y Denison, 2018)
y aunque esa diversidad incluya la combinación de evaluaciones formativas y
sumativas en formatos diversos (Banta y Palomba, 2015; Sambell et al., 2018;
Secolsky y Denison, 2018), lo cierto es que, poco se ha escrito sobre experiencias de
evaluaciones sumativas que intenten desafiar las prácticas habituales en Educación
Superior y abordar los principios de la evaluación de aprendizajes que ya desde hace
años conocemos como fundamentales (Shepard, 2000).
Si bien la investigación sobre evaluación de los últimos años demuestra que
nuestros esfuerzos se centran en potenciar la evaluación formativa y el feedback
que se deriva de ella, es ampliamente aceptado que la evaluación sumativa bien
diseñada puede promover un aprendizaje efectivo, y que parte de ese buen diseño de

204 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 203-224.
DOI: h[Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 L. Castañeda
Una experiencia de diseño de una tarea de evaluación sumativa en formato transmedia para formación inicial de profesorado

la evaluación reside en que ofrezca oportunidades de tareas auténticas y válidas, es

decir, que midan lo que dicen que miden (Sambell et al., 2018) y en que evaluación,
objetivos y actividades de aprendizaje estén alineadas (Biggs, 2014). Se trata en
últimas de conseguir que las prácticas de evaluación –y particularmente de evaluación
sumativa– mejoren el enganche de los estudiantes con su proceso de aprendizaje y,
por tanto, sus resultados de aprendizaje y su satisfacción (Biggs, 2014), en lugar de
convertirse simplemente en una “sucesión alienada de respuestas insustanciales y la
persecución de una nota” (Sambell et al., 2018, p. 140).
El objetivo de este trabajo es identificar las características principales que
describen precisamente una tarea de evaluación sumativa que tiene esa pretensión,
servir como tarea de conocimiento para los estudiantes mientras es útil como
momento final en el que se pueden resumir y exhibir los niveles de logro de las
competencias en el marco de la Educación Superior formal.

MARCO TEÓRICO

Aunque la evaluación sumativa se ocupe tradicionalmente de resumir y hacer

juicios que suelen suponer un punto final de un proceso de enseñanza-aprendizaje
(Sambell, 2018), una de las ambiciones cuando se intentan hacer propuestas de
evaluación sumativa es tratar de reducir el componente de control que tiene la
evaluación y convertir este momento en una experiencia de aprendizaje interesante,
que cumpla con las expectativas de certificación que sean precisas, pero que a la vez
ofrezca una experiencia potencialmente educativa para los estudiantes, tanto desde
el punto de vista cognitivo como metacognitivo (Marzano y Kendall, 2006).
Como bien remarca Shepard (2006)the fourth edition documents progress in the
field and provides critical guidance to the efforts of new generations of researchers
and practitioners. Edited by Robert Brennan and jointly sponsored by the American
Council on Education (ACE, desde una perspectiva cognitiva no es mejor una
propuesta educativa SIN evaluación sumativa; por el contrario, lo que indica la
investigación conocida es que el sistema ideal de evaluación sería uno en que “las
evaluaciones sumativa y formativa estuvieran mutuamente alineadas con objetivos
de aprendizaje orientados conceptualmente, y en el que las evaluaciones sumativas
se utilizaran como momentos importantes de logro” … “después de periodos de
aprendizaje reforzados por la evaluación formativa” (p. 35). Así, la evaluación
sumativa se lleva a cabo después de que un programa haya estado en funcionamiento
durante un tiempo, o a su conclusión, para hacer juicios sobre su calidad o valor
en comparación con las normas de rendimiento previamente definidas (Banta y
Palomba, 2015).
Incluir tareas finales o pruebas hacen que los estudiantes revisen lo trabajado,
procesen mentalmente el contenido y, si se plantean adecuadamente y con calidad los
contenidos de las tareas vuelvan a aprender, lo que opera como una forma limitada
de práctica distribuida. Además, para bien o para mal, la prueba dirige la atención

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 203-224.

DOI: h[Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 205
 L. Castañeda
Una experiencia de diseño de una tarea de evaluación sumativa en formato transmedia para formación inicial de profesorado

a los temas y las habilidades que se examinan, lo cual tiene implicaciones para los
esfuerzos de estudio de los estudiantes (Shepard, 2006).
La cuestión sobre la calidad de las tareas de evaluación parte fundamentalmente
de proponer un modelo coherente de evaluación, lo cual a su vez parte de tener claro
cómo entendemos que aprenden los estudiantes (Pellegrino et al., 2001) y de alinear
la evaluación con objetivos y las actividades de aprendizaje (Biggs, 2014) .
En el caso que nos ocupa entendemos que el modelo de aprendizaje de los
estudiantes debería responder a lo que podríamos considerar una evolución del
modelo social-constructivista, entendido como la reunión entre la teoría cognitiva
y la teoría social, del que habla Shepard (2006), más allá del alineamiento
constructivista (Biggs, 1996). Sin embargo, entendemos el aprendizaje como una
actividad emergente en un momento tecnológico que podríamos considerar como
post-digital (de Laat y Dohn, 2019) lo cual sitúa nuestra perspectiva en el marco de
lo que ha dado en llamarse el aprendizaje conectado (Networked Learning) y que se
perfila con 8 principios básicos (Networked Learning Editorial Collective (NLEC),
2020) que pueden servir como guías de diseño y análisis de la propuesta evaluativa:

1. Los procesos de enseñanza se centran en el aprendizaje que tiene un valor

percibido para el estudiantado.
2. Las situaciones de enseñanza explotan la responsabilidad compartida entre la
totalidad de actantes.
3. Se necesita tiempo para construir y encontrar relaciones (personales y cognitivas).
4. El aprendizaje es situado y depende del contexto.
5. Se apoya en entornos de colaboración o de grupo.
6. El diálogo y la interacción social apoyan la co-construcción del conocimiento, la
identidad y el aprendizaje.
7. La reflexividad crítica es una parte importante del proceso de aprendizaje y del
conocimiento.
8. El papel de facilitación es importante.

Eso implica que la tarea que se les pedirá a los estudiantes sea una tarea lo más
auténtica posible, entendiendo que esas tareas requieren un pensamiento de más alto
nivel y la solución activa de problemas que, además de incrementar la motivación
del estudiante, son intrínsecamente más interesantes que la memorización o la
aplicación de procedimientos sencillos. No en vano, las creencias del estudiantado
acerca de la importancia en el mundo real de lo que aprenden aumentan su
motivación intrínseca (Shepard, 2006)the fourth edition documents progress in the
field and provides critical guidance to the efforts of new generations of researchers
and practitioners. Edited by Robert Brennan and jointly sponsored by the American
Council on Education (ACE.

206 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 203-224.
DOI: h[Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 L. Castañeda
Una experiencia de diseño de una tarea de evaluación sumativa en formato transmedia para formación inicial de profesorado

Esa premisa de aprendizaje conectado también exige una apuesta por la reflexión
crítica, que en este trabajo caracterizaremos con la propuesta de Llopis (2017, p. 45),
cuando indica que la reflexión

es un proceso que recurre a la experiencia individual, utiliza procesos metacognitivos,

parte de una habilidad que debe ser enseñada, implica investigación e indagación,
involucra una toma de decisiones, que requiere intencionalidad y puede afectar
positivamente al rendimiento de los estudiantes,

y que forma parte fundamental de toda la propuesta del desarrollo de la

asignatura, y muy especialmente de esta tarea de evaluación.
Además, el hecho de enmarcar la propuesta en un modelo de aprendizaje
conectado tecnológicamente situado nos impulsa a hacer una propuesta de desarrollo
transmedia, principalmente apoyada en el desarrollo de audiovisuales (vídeo)
(Scolari, 2014). Como indica este autor, la narrativa transmedia se caracteriza por
tratarse de un relato a través de diferentes medios que, además, más que consumirse,
se crea. La creación de los vídeos por parte de los estudiantes en esta propuesta
requiere no solo la movilización de habilidades de pensamiento de nivel superior
(Tur et al., 2016), sino que permite a los estudiantes expresarse de formas que les
hacen sentir más cómodos, motivados y estimulados, y a la vez les permite abundar
en narrativas más creativas e imaginativas (Arruabarrena et al., 2019) y además,
en su calidad de futuros educadores, abundar en sus habilidades como prácticos
reflexivos (Challinor et al., 2017).

DESARROLLAR UNA TAREA DE EVALUACIÓN SUMATIVA

Contexto

La experiencia que se presenta se desarrolla como tarea final de dos asignaturas de

primer curso del Grado de Educación Primaria en una universidad pública española.
Se trata de asignaturas de formación obligatoria, en las que han participado en torno
a 55 estudiantes en cada iteración, aunque no todos ellos presentan esta tarea final.
Las asignaturas en las que se implementa esta tarea final responden a una
propuesta didáctica de aprendizaje por tareas semanales en grupos con roles
predefinidos de desempeño que se ha analizado parcialmente en trabajos anteriores
(Castañeda, 2019; Castañeda y Marín, 2020).

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 203-224.

DOI: h[Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 207
 L. Castañeda
Una experiencia de diseño de una tarea de evaluación sumativa en formato transmedia para formación inicial de profesorado

Objetivos

El objetivo de este trabajo es diseñar una tarea de evaluación sumativa final

alineada con las metas de la formación en la que se enmarca y eso implica tres
objetivos específicos:

• Debe permitir a los estudiantes desplegar la batería de sus habilidades para

demostrar qué es lo que han aprendido y dar cuenta de sus niveles de logro en el
marco de la asignatura.
• Debe evaluar las competencias específicas de la asignatura: lo cual implica la
evaluación de tareas integradas que, en el caso de los estudiantes del Grado de
Educación Primaria (formación inicial del profesorado) implica la capacidad de
integrar el conocimiento disciplinar a través de reflexiones profesionales.
• Debe proponer procesos metacognitivos que amplíen sus objetivos más allá
del proceso de calificación y la conviertan en parte del proceso de aprendizaje
extendido del estudiante, más allá de la propia asignatura.

Es importante destacar que, si bien se entienden como cuestiones separadas

hasta cierto punto, las competencias específicas de la asignatura y el desarrollo
de procesos metacognitivos, son objetivos importantes de las asignaturas en casi
todos los niveles, pero muy particularmente, en Educación Superior. No en vano,
la concreción de los currículos universitarios incluye la definición de competencias
específicas de materia, asignatura y una serie de competencias transversales que
deben ser incluidas en el marco de los procesos educativos.

El Proceso

La experiencia que se presenta se ha desarrollado a lo largo de 8 años de trabajo,

iniciando la primera tarea de evaluación, que podría considerarse precedente en este
contexto, en el curso 2012-2013.
Este estudio de caso utiliza un enfoque naturalista (es decir, que estudia la realidad
tal cual se presenta), y realiza una recogida de datos no intrusiva (Hatch, 2002) .
Es decir, toma como base de análisis los documentos que ya han sido publicados,
en el marco de la asignatura, (habitualmente en el Entorno Virtual de Enseñanza
Aprendizaje - EVEA), por parte de los participantes, ya sea como instrucciones para
el alumnado, o como trabajos de los estudiantes, y que se consideran evidencias no
intrusivas porque no han sido creados para este estudio (Yin, 2013).
En estos 8 años, el proceso ha seguido una dinámica que puede situarse en el
marco de la investigación educativa basada en el diseño (DBR por sus siglas en inglés
de Educational Design Research) profusamente descrita en los trabajos de Plomp
y Nieveen (2013) y en el ámbito más cercano en trabajos como los de De Benito y

208 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 203-224.
DOI: h[Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 L. Castañeda
Una experiencia de diseño de una tarea de evaluación sumativa en formato transmedia para formación inicial de profesorado

Salinas (2016). Así, se han realizado hasta cinco iteraciones de la tarea (ver figura
1), que a la vez podrían dividirse en tres partes: dos etapas clave de refinamiento del
diseño: una primera etapa con tres iteraciones en donde la tarea misma se entiende
como un proceso de evaluación parcial preliminar y de primera aproximación a la
calificación de la asignatura, y una segunda etapa (cuarta iteración), donde la tarea
de evaluación adquiere un matiz más específico y en el que se incluyen más matices
asociados al logro de las competencias de la asignatura. Finalmente, la quinta
iteración es una réplica del diseño en otra asignatura, lo que nos permitió el ajuste
de las características generales y una pequeña validación del diseño final.

Figura 1
Esquema de iteraciones de la propuesta

Tarea de evaluación Tarea de evaluación sumativa

sumativa preliminar para calificación en detalle

Iteración 1 Iteración 2 Iteración 3 Iteración 4 Iteración 5

Implementación y
prueba de
Iteraciones de diseño características del
diseño

La entrega de la tarea siempre se ha propuesto como un trabajo en diferido

(entendiendo que el tiempo de reflexión entre la fecha de publicación de las
instrucciones de evaluación y la entrega es un tiempo necesario no solo para la
elaboración del producto final, sino para la reflexión sobre lo que implica) con fecha
final en el día y hora que aparece asignado a la asignatura en el calendario oficial de
exámenes de la facultad y siempre en formato vídeo.
La evolución de la tarea en las diferentes iteraciones ha implicado la definición
de nuevos elementos en ella, estos nuevos elementos pretendían la mejora de
la calidad de los productos presentados por los estudiantes; lo cual lejos de estar
definido por un único constructo o factor, se ha desvelado como un conjunto de
aspectos que parecen difícilmente predecibles de forma anticipada y solo definidos
por la práctica misma. Por lo mismo, los documentos que se han recogido de cada
una de las iteraciones (documentos de instrucciones para el alumnado, documentos
de evaluación de los estudiantes y registro de los resultados de la evaluación) se han
analizado bajo una óptica de Grounded Theory pero en una escala de estudio de

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 203-224.

DOI: h[Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 209
 L. Castañeda
Una experiencia de diseño de una tarea de evaluación sumativa en formato transmedia para formación inicial de profesorado

caso (Corbin y Strauss, 1990), o lo que es lo mismo, donde la recogida de datos y el

análisis sean procesos interrelacionados y las categorías de análisis vayan surgiendo
–y aumentando– conforme se va analizando el material (Bryant y Charmaz, 2010).
Es importante apuntar que el objetivo en cada iteración ha sido conseguir
mejores desempeños por parte de los estudiantes, eso significa análisis y reflexiones
más profundas con tratamientos visuales más creativos (aunque no necesariamente
mejor producidos en términos audiovisuales).

Iteraciones 1 a 3: evaluación sumativa final para calificación preliminar

Las primeras iteraciones de este tipo de tarea de evaluación surgieron como una
alternativa de examen.
Como se ha indicado anteriormente, los estudiantes ya realizan, en otra asignatura
con la misma docente, un examen oral presencial y con esta prueba se pretendía
ofrecer una alternativa de examen final (con las ventajas para la perspectiva respecto
del logro que se han mencionado en el marco teórico de este trabajo), pero a la vez,
intentando ampliar las experiencias de tareas del estudiantado.
En sus primeras iteraciones, el objetivo de esta tarea de evaluación no era
constituir la parte más importante de la calificación de la asignatura, sino ofrecer una
visión general sobre el logro conseguido. Una vez calificada esta actividad, que podría
considerarse para el total de la asignatura como un apto o no apto, la calificación
final de los estudiantes podría matizarse suficientemente con los resultados de las
tareas en grupo que se iban presentando a lo largo de todo el periodo lectivo de la
asignatura y que habían sido objeto de evaluación formativa.
En estas 4 primeras iteraciones se planteó una tarea individual en la que se pedía
a los estudiantes que respondieran a dos cuestiones; la primera de autoevaluación y
la segunda de integración teórico-práctica con una perspectiva personal:

• Basándote en las competencias que se incluyen en la guía docente de la asignatura,

del 1 al 10, ¿qué nota mereces en la asignatura y por qué?
• ¿Cómo esta asignatura contribuye a tu TPACK (Technological Pedagogical and
Content Knowledge)? Su explicación debe basarse en ejemplos que pongan de
manifiesto su experiencia particular.

Iteración 1. Curso 12-13

Instrucciones

• El vídeo no debía durar más de 2,5 minutos (excluyendo portada y créditos).

• El formato del vídeo es abierto con una única excepción: no se puede usar el
formato de busto parlante.

210 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 203-224.
DOI: h[Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 L. Castañeda
Una experiencia de diseño de una tarea de evaluación sumativa en formato transmedia para formación inicial de profesorado

• Se debe incluir en los créditos información relativa a las fuentes utilizadas en el

discurso.
• Las instrucciones se entregan 2 semanas antes de la fecha de entrega, 1 semana
antes del periodo lectivo de la asignatura.

Resultados

En esta primera iteración participaron un total de 42 estudiantes, de cuyas tareas

fueron aprobadas 37. Las 7 tareas suspensas no incluían una parte de las preguntas o
limitaban la respuesta al enunciado principal de la pregunta (“merezco un 7 porque
es la nota que me pondría porque me he esforzado bastante en la asignatura”; o
“el TPACK es…”), normalmente incluyendo cuestiones literales de la documentación
de la asignatura, pero no hacían reflexiones que justificasen la respuesta que se les
pedía. En la totalidad de los casos no había créditos del trabajo.
El nivel de rendimiento dentro de las tareas aprobadas fue variado. 14 tareas
incluían una reflexión excesivamente superficial y, aunque se incluían los elementos
conceptuales de la asignatura y la experiencia de los estudiantes, no se hacían
conexiones entre los diferentes elementos, y por ello fueron valoradas como de bajo
rendimiento. 10 de las tareas presentadas fueron valoradas como de rendimiento
medio: la reflexión fue superficial, pero se realizaban conexiones entre elementos
de la asignatura. Finalmente, 11 tareas fueron consideradas de alto rendimiento con
reflexiones que incluían elementos dialógicos en la reflexión (“creo que la tarea 2 se
puede enmarcar tanto en mi TPK (Technological Pedagogical Content) como en mi
PK (Pedagogical Knowledge) por separado, porque no solo hacíamos un trabajo
de la herramienta, sino que nos centrábamos en sus características para usarla en
nuestra clase”) y, además, porque ofrecían tratamientos especialmente creativos del
discurso (infografías, grafitis, generación de un discurso visual, etc.).

Carencias percibidas de la tarea

Ninguna de las tareas desarrolladas por los estudiantes aludía a bibliografía

de la asignatura, ni hacía reflexiones en las que se relacionasen conocimientos no
explicitados en el material de la propia asignatura o información externa de ningún
tipo (noticias, perspectivas críticas, etc.). En últimas, no aportaban una reflexión
crítica (Hatton y Smith, 1995). No obstante, si bien era una aspiración de la docente
y los niveles de reflexión habían sido tratados dentro de la asignatura de forma
explícita, parecía evidente que al no haberse enfatizado el nivel de reflexión como
un criterio clave a considerar en el examen, no debía considerarse como penalizador
para el total de la clase y se consideró suficiente con un nivel intermedio de reflexión
y un nivel creativo en el discurso alto.
En referencia a esto último, es también importante remarcar que la creatividad
y unidad en el discurso del vídeo solo era evidente en las tareas consideradas de

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 203-224.

DOI: h[Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 211
 L. Castañeda
Una experiencia de diseño de una tarea de evaluación sumativa en formato transmedia para formación inicial de profesorado

desempeño alto, las demás carecían de un discurso ordenado o global que diera
coherencia al trabajo.

Decisiones

Introducir un formato de discurso y remarcar la importancia de los niveles de

reflexión en las instrucciones de la tarea.

Iteración 2. Curso 14-15

Instrucciones

• El vídeo no debía durar más de 5 minutos (excluyendo portada y créditos).

• El formato del vídeo es abierto y puede realizarse utilizando la herramienta
de preferencia del estudiante, aunque la narrativa debe basarse en el ciclo
conocido como “el viaje del héroe” (Lupton, 2017) y tocar todos los elementos
de la asignatura y su relación con el TPACK del estudiante. No se puede usar el
formato de busto parlante.
• Deben priorizarse reflexiones de tipo crítico para justificar el discurso (repasar
los niveles de reflexión de Hatton y Smith, 1995). La pre-reflexión (que es
como Hatton y Smith se refieren a descripciones de lo sucedido sin más) no se
considerará apta para la tarea.
• Se debe incluir en los créditos información relativa a las fuentes utilizadas en el
discurso.
• Las instrucciones se entregan 2 semanas antes de la fecha de entrega, 1 semana
antes del periodo lectivo de la asignatura.

Resultados

En esta iteración participaron un total de 50 estudiantes y todas las tareas

presentadas se consideraron aptas.
Como en el caso anterior, el nivel de logro de las tareas fue diverso. De las 50
tareas presentadas, 9 fueron consideradas de bajo rendimiento, 21 de medio, y 20 de
alto nivel de rendimiento. En los tres grupos hay que remarcar que la categorización
coincidía con los niveles de reflexión que se habían marcado como criterio en las
instrucciones (reflexión descriptiva, dialógica o crítica). Sin embargo, no siempre los
vídeos que tenían un tratamiento más creativo del viaje del héroe desde un punto
de vista audiovisual o narrativo eran aquellos que habían hecho reflexiones más
profundas, sino más bien al contrario.

212 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 203-224.
DOI: h[Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 L. Castañeda
Una experiencia de diseño de una tarea de evaluación sumativa en formato transmedia para formación inicial de profesorado

Carencias percibidas de la tarea

Aunque empiezan a ser más frecuentes las reflexiones críticas, parece que
sigue sin estar clara la importancia de indicar en los créditos las referencias a la
documentación trabajada en el curso o en otras asignaturas.
El viaje del héroe como propuesta narrativa no se había trabajado en clase de
forma explícita y a la luz de los resultados de las tareas entendimos que, si bien
aportaba unas narrativas muy llamativas e interesantes, puede que supusiera un
esfuerzo narrativo excesivo que restase tiempo de desarrollo a las reflexiones que
son el objetivo prioritario de la tarea.

Decisiones

Se opta por eliminar la alusión expresa al viaje del héroe como herramienta en
torno a la cual orientar la narrativa. Se decide explicitar la necesidad de aludir a
bibliografía especializada.

Iteración 3. Curso 16-17

Instrucciones

• El vídeo no debía durar más de 3,5 minutos, pero tener un mínimo de 2,5
(excluyendo portada y créditos).
• El formato del vídeo es abierto y puede realizarse utilizando la herramienta de
preferencia del estudiante, la narrativa debe ser coherente y tocar de forma global
todos los puntos de las preguntas. No se puede usar el formato de busto parlante.
• Deben priorizarse reflexiones de tipo crítico para justificar el discurso (repasar los
niveles de reflexión de Hatton y Smith, 1995). La pre-reflexión no se considerará
apta para la tarea.
• Se debe incluir en los créditos información relativa a las fuentes utilizadas en el
discurso. Se incluirá en la descripción del vídeo un enlace a un documento con
las referencias bibliográficas mencionadas en el vídeo, usando el estándar de su
elección, pero consistentemente en todo el documento.
• Las instrucciones se entregan 3 semanas antes de la fecha de entrega, 2 semanas
antes del periodo lectivo de la asignatura.

Resultados

En esta iteración participaron un total de 59 estudiantes, y solo una de las tareas

se consideró no-apta, por incluir solamente pre-reflexiones o lo que es lo mismo,
meras descripciones de lo hecho en clase y solo las acciones, sin relación con los

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 203-224.

DOI: h[Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 213
 L. Castañeda
Una experiencia de diseño de una tarea de evaluación sumativa en formato transmedia para formación inicial de profesorado

contenidos (“Mi TPACK se ha enriquecido mucho con las exposiciones en clase

que han sido de gran interés para mi XXXX… …todos los trabajos propuestos
han contribuido a mi TPACK”), pero ninguna que se justificase claramente como
respuesta a las preguntas planteadas y por incluir en el documento de bibliografía,
la bibliografía de la asignatura copiada y pegada de la guía docente de la asignatura
pero sin haberla utilizado claramente en el cuerpo del trabajo.
Como en el caso anterior, el nivel de logro de las tareas fue diverso. De las 59
tareas que se consideraron aptas, 9 fueron consideradas de bajo rendimiento, 38 de
medio, y 11 de alto nivel de rendimiento. Como en la iteración anterior, en los tres
grupos hay que remarcar que la categorización coincidía con los niveles de reflexión,
y aunque en este caso la riqueza de las narrativas era de menor calidad en general,
sí que los niveles de reflexión de nivel medio habían sido incluidos en más tareas
y se notaba que los estudiantes habían hecho un esfuerzo por incluir conceptos
evidentemente fundamentados en la bibliografía.

Carencias percibidas de la tarea

A diferencia de los casos anteriores, donde no se había recibido feedback

directo de los estudiantes, en esta ocasión algunos estudiantes manifestaron de
forma informal a la docente (una vez terminado el proceso de evaluación), que no
sabían muy bien cuál era el peso de cada uno de los criterios en el trabajo, ni qué
se consideraba usar bien o mal la bibliografía. Además, alguno ponía de relieve el
problema de incluir en una narrativa transmedia un elemento tan “ajeno” como la
bibliografía académica.
Aunque había sido una preocupación por parte de la docente en la iteración
anterior, en esta iteración se acusó especialmente una de las dificultades a la hora de
corregir las tareas: entender claramente el discurso oral incluido en el documento.
Además, surgió la preocupación del plagio, al haberse incluido mayores cantidades
de texto académico en el discurso.

Decisiones

Se opta por solicitar al estudiantado una versión en formato texto de la

transcripción del audio del audiovisual y se les pide que solo incluyan las citas en ese
escrito y no en la versión oral. Además, se opta por realizar una rúbrica de evaluación
para evaluar el resultado de la tarea.

214 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 203-224.
DOI: h[Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 L. Castañeda
Una experiencia de diseño de una tarea de evaluación sumativa en formato transmedia para formación inicial de profesorado

Iteración 4. Curso 18-19. Evaluación sumativa final para la

calificación en detalle

Una vez probadas las posibilidades de la tarea como examen final, y vista la
evolución de la tarea misma y la acogida entre los estudiantes del procedimiento,
se decidió dar una mayor importancia a esta tarea. Además, se tomó la decisión de
reducir la carga de trabajo de las tareas semanales, de manera que su contribución
fuese mucho más formativa y de desarrollo. No se disminuyó el trabajo relativo de
reflexión y coevaluación de tareas, pero se aumentó el peso de la tarea final en la
calificación y, con ella, se aumentó sustancialmente en cantidad de contenidos.
Se optó además por diferenciar claramente las preguntas de orden metacognitivo
de las preguntas de competencias específicas de la asignatura.
En consecuencia, se decidió aumentar la cantidad de tiempo disponible para
preparar la tarea. Así que los estudiantes tuvieron a disposición la definición
completa de la tarea desde un mes antes de la fecha del examen y tres semanas antes
de terminar la asignatura.
Las iteraciones 4 y 5 corresponden a los cursos 2018-2019 y 2019-2020, lo que
implica que en el caso de la iteración 5, y por las particularidades organizativas
ocasionadas por la crisis del Covid-19, esta tarea de evaluación final fue utilizada
como estrategia de evaluación en dos asignaturas.
Veámoslo con detalle:

Instrucciones

En el documento online ([Link] se incluye el detalle de las

instrucciones entregadas a los estudiantes. Estas instrucciones se entregaron a los
estudiantes un mes y una semana antes de la fecha de entrega, y una semana más
tarde de entregarse se discutieron en clase, en concreto se clarificaron dudas sobre
el contenido de las preguntas y se abrió la posibilidad de modificar o repasar las
especificaciones de la rúbrica. No hubo cambios a la formulación original.

Resultados

En esta iteración se recogieron un total de 60 tareas, de las que 2 resultaron

consideradas no aptas en ambos casos por incluirse casos evidentes de plagios de
páginas web copiadas y pegadas en el contenido sin referencia alguna. De las tareas
restantes, 16 se consideraron de bajo rendimiento, 18 de rendimiento medio y 24 de
alto rendimiento y, aunque el incremento en el tramo de bajo rendimiento es notable,
hay que decir que la dificultad de la prueba se había incrementado igualmente.
No obstante, y a la vez, el aumento en la cantidad de tareas consideradas de alto
rendimiento se consideró muy satisfactorio. Hablamos de un 40% del estudiantado

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 203-224.

DOI: h[Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 215
 L. Castañeda
Una experiencia de diseño de una tarea de evaluación sumativa en formato transmedia para formación inicial de profesorado

que demuestra en una prueba final original –no repetitiva– un nivel muy alto de
reflexión profunda y de capacidad de conexión de los conocimientos de la asignatura,
expresados además de forma creativa y coherente, y haciendo uso crítico y variado
de la bibliografía, no solo de la asignatura sino de otras asignaturas que aparecen
mencionadas en los trabajos.

Iteración 5. Curso 19-20. Réplica del modelo. Una evaluación en

confinamiento

En esta iteración no se preveía realizar cambios en la propuesta de la tarea. Sin

embargo, la situación generada por el Covid-19, el confinamiento y las condiciones
de no presencialidad para la evaluación que se vieron forzadas, obligaron a los
participantes en el proceso educativo a una profunda reflexión. Se trataba de
reformular el examen de la otra asignatura (oral y presencial, en grupo e individual)
para una situación de realización online.
Teniendo en cuenta no solo las condiciones materiales del proceso (online
a distancia), sino los condicionantes emocionales, familiares y de acceso de los
estudiantes y aprovechando los muy satisfactorios resultados de la tarea de evaluación
en la otra asignatura; tras consultar con los estudiantes, se decidió replicar la tarea
en la otra asignatura, ampliar el plazo de desarrollo (hasta un mes y medio para cada
una) y aprovechar la oportunidad para identificar los componentes y características
clave de la tarea que nos permitiesen replicarla eficazmente.

Instrucciones

Los únicos cambios que se implementan en esta iteración son correcciones de

erratas y precisiones en la rúbrica.

Resultados

En la asignatura en la que tradicionalmente se había realizado la tarea se

recogieron 50 tareas de las que 3 no se consideraron aptas, 8 se consideraron como
de rendimiento bajo, 24 medio y 15 de alto rendimiento.
En el caso de la asignatura en la que se implementó por primera vez, se recogieron
un total de 60 tareas finales, de las que se consideraron no aptas 5, 8 tuvieron un
rendimiento bajo, 18 tareas de rendimiento medio, y 29 tareas de alto rendimiento.
Todos los datos de este proceso explicados anteriormente se resumen en el
esquema de la figura 2:

216 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 203-224.
DOI: h[Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 L. Castañeda
Una experiencia de diseño de una tarea de evaluación sumativa en formato transmedia para formación inicial de profesorado

Figura 2
Datos generales de las iteraciones

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 203-224.

DOI: h[Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 217
 L. Castañeda
Una experiencia de diseño de una tarea de evaluación sumativa en formato transmedia para formación inicial de profesorado

CONCLUSIONES Y DISCUSIÓN

El objetivo de este trabajo era caracterizar y diseñar una tarea de evaluación

sumativa que respondiese a un modelo de aprendizaje conectado, explorando de
manera sistemática el proceso de toma de decisiones.
Sin embargo, antes de detallar las características a las que responden las
conclusiones de este proceso, es preciso explicitar qué resultados hicieron que en
la iteración 4 el diseño se considerase como suficientemente exitoso y completo y
se detuvieran las iteraciones de diseño (Plomp y Nieveen, 2013), de manera que la
iteración 5 se convirtiese en una iteración de réplica:

• Con base en los resultados de las tareas presentadas, las tareas consideradas
aprobadas demuestran que los estudiantes han desarrollado las competencias
de la asignatura en cuestión y entienden la relación entre los contenidos de
esa asignatura y la titulación para las que se les prepara (en este caso Grado en
Educación Primaria).
• El tipo de reflexiones que se han incluido en la inmensa mayoría de los trabajos
(los considerados como de medio o alto rendimiento), son reflexiones de larga
duración que van más allá del enunciado de los temas de este curso o de los
autores de la documentación recomendada.
• Las tareas muestran habilidades de los estudiantes para expresarse de un modo
elocuente, elaborar y desarrollar un discurso coherente a partir de la organización
de su pensamiento de formas diversas, creativas, interesantes, divertidas…
• Los trabajos brillantes (de alto rendimiento), que en algunos casos incluyen
más del 40% de las tareas presentadas en una iteración, tienen un nivel de
profundidad en su propuesta conceptual que supera en muchos casos la reflexión
escrita gracias al complemento que les permite el lenguaje audiovisual.

Dicho eso, las diferentes iteraciones del proceso que se han relatado nos han
permitido caracterizar un diseño de tarea final sumativa y, por lo tanto, dirigida
principalmente a la demostración del logro (Sambell et al., 2018) que se ha ido
refinando a lo largo del proceso y que responde principalmente a las siguientes
características:

Diseño del contenido de la tarea

La tarea consiste en la propuesta y desarrollo de un discurso fundamentado que

explicite la capacidad de los estudiantes para reflexionar, comprender y promover
(verbos fundamentales de las competencias de las asignaturas en cuestión) los
contenidos de la asignatura.
Para ello la tarea contiene dos partes:

218 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 203-224.
DOI: h[Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 L. Castañeda
Una experiencia de diseño de una tarea de evaluación sumativa en formato transmedia para formación inicial de profesorado

1. Una parte competencial de la asignatura: en la que se incluyen enunciados de

preguntas que deben tener 4 componentes prioritarios:

▪ Conectada: El resultado debe exigir que el discurso final (de cada una de las
respuestas) relacione al menos dos de los núcleos temáticos de la asignatura
(temas o núcleos de contenido), de forma especializada. Es decir, se pide
que, desde un modelo teórico o práctico, se analice otro modelo teórico o
práctico de los trabajados en la asignatura.
▪ Personalizada: La respuesta debe incluir algún tipo de toma de decisiones
por parte del estudiante, bien sea una postura crítica o una personalización
justificada (la realidad de su barrio, casa, país), que la haga única, auténtica
(Gulikers et al., 2004).
▪ Reflexionada: Es decir, que implique no solo una justificación de lo
propuesto, sino idealmente, que esa justificación tenga en cuenta los
contextos científicos, históricos, sociales y políticos más amplios –reflexión
crítica– (Hatton y Smith, 1995).
▪ Teóricamente validada: Uno de los principios de la educación formal es
que configura la racionalidad teórica –al menos inicial– de las profesiones,
asumiendo que esa racionalidad fundamentará el trabajo práctico de los
futuros profesionales. Por eso mismo, desde esta experiencia, se considera
primordial que parte de esa exhibición final del proceso de desarrollo de
competencias de los estudiantes en un proceso de formación formal implique
la utilización dinámica de las fuentes de información validadas en su toma de
decisiones (por ejemplo, introduciendo bibliografía).

2. Una parte metacognitiva: en la que se incluya uno o varios enunciados que

centren la respuesta en una reflexión sobre el desempeño del estudiante a lo
largo del periodo de formación y en la consecución o no de los objetivos de esa
asignatura. Se considera fundamental que esta reflexión no se plantee en el
vacío, sino que se contextualice claramente en las competencias y contenidos de
la asignatura en cuestión.

La aportación del medio audiovisual/transmedia

Ofrecer formatos transmedia que incluyan narrativas elaboradas por los

estudiantes abunda en una de las clásicas estrategias didácticas que ha demostrado
reiteradamente no solo favorecer la competencia comunicativa y digital de los
estudiantes, sino además tener efectos muy positivos en lo que se llama el “enganche”
con las asignaturas (Perry, 2020). En la experiencia que nos ocupa, esas narrativas
se han visto muy enriquecidas por la complementariedad de los medios, por un lado,
enriqueciendo las oportunidades de reflexión a través de lenguajes no verbales que
se incluyen en los audiovisuales presentados (gifs, emoticonos, efectos especiales,

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 203-224.

DOI: h[Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 219
 L. Castañeda
Una experiencia de diseño de una tarea de evaluación sumativa en formato transmedia para formación inicial de profesorado

música, referencias cinematográficas, etc.), y por otro, incluyendo elementos

académicos clásicos y evitando malentendidos con la presentación de la transcripción
final en formato texto.
El desarrollo transmedia de las narrativas del estudiantado no solo se ha
desvelado en todas las iteraciones como una fuente extra de información y como
un espacio donde se revelan aprendizajes emergentes y no previstos. Gracias a esa
perspectiva se desvelan relaciones entre los contenidos de la asignatura con otras
asignaturas de la carrera, los estudiantes hacen gala de desarrollo de habilidades
técnicas e incluso pueden desplegar conocimientos y habilidades complementarias
(cine, música, arte) que enriquecen sus aportaciones. No obstante, el análisis llevado
a cabo en este trabajo no abunda con la profundidad suficiente en estos asuntos y
entendemos que merecería la pena hacer un estudio profundo de la característica
transmedia de los productos elaborados en estas y otras tareas académicas.
Además, con base en los resultados finales, esta apuesta por la transcripción del
texto actúa como disuasión a la hora de copiar acríticamente otros trabajos y favorece
que se citen trabajos de otros (incluidos otros compañeros), lo cual se entiende que
enriquece el discurso.

La importancia del tiempo

Uno de los componentes de la tarea que se ha revelado como más importante

es el tiempo de desarrollo. Entendemos que, si de verdad tenemos como objetivo
que la tarea sumativa final permita que el estudiante exhiba las competencias que
ha desarrollado en la asignatura, esas competencias requieren procesos cognitivos
superiores (evaluar, analizar, sintetizar), y además se espera que lo haga de forma
reflexiva, para hacerlo necesita tiempo. Tiempo de conocimiento de la tarea que se
le va a pedir, de manera que pueda abordar el desarrollo de las competencias de la
asignatura de una manera consciente y coherente.
Este tiempo permite a los estudiantes tomar sus propias decisiones sobre qué
resultado esperan de la asignatura (más allá de aprobar o no), qué nivel de logro
esperan, o lo que es lo mismo, ir más allá de la autorregulación del aprendizaje e
incursionar como adultos en la autodirección de su aprendizaje (Blaschke, 2012).
Finalmente, ese tiempo les permite abordar las fuentes de la asignatura de una
forma más auténtica, es decir, pueden leer mucho, no solo de los documentos que
hemos manejado en clase, sino de otras cosas de incluso otras asignaturas que les
ayudan a mirar con perspectiva.

La importancia de la rúbrica

El trabajo a lo largo de estos años y el incremento en la calidad de las tareas pone

de manifiesto la importancia de compartir explícitamente los criterios de evaluación
con los estudiantes. Como apunta Smith et al. (2013), si queremos que los estudiantes

220 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 203-224.
DOI: h[Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 L. Castañeda
Una experiencia de diseño de una tarea de evaluación sumativa en formato transmedia para formación inicial de profesorado

se conviertan en aprendices autorregulados, es imprescindible que sean capaces de

juzgar su propio trabajo, cuán buena es su respuesta en relación con los estándares
de logros académicos pertinentes. La comprensión por parte de los estudiantes
de los propósitos de la evaluación y de los procesos que la rodean forma parte del
contexto en el que aprenden a hacer esos juicios y a autorregularse eficazmente y
eso, en muchas situaciones implica el desarrollo de una rúbrica (Secolsky y Denison,
2018).
En este caso, la rúbrica implementada pone un especial énfasis en definir
a grandes rasgos los niveles de desempeño (bajo, medio y alto), y en acotar muy
claramente los criterios que harán no apta la tarea.
Una experiencia como esta es, por definición, una propuesta en constante
desarrollo. No obstante, el camino hasta aquí traza no solo las características de
un diseño de tarea de evaluación concreta, sino que perfila un modo de desarrollo
profesional docente en Educación Superior. Se trata de un proceso que parte de
una definición fundamental sobre cuáles son los marcos teóricos y pedagógicos
que fundamentan la acción –educativa en general y evaluativa en particular– y que
pretende la mejora de los procesos educativos en Educación Superior partiendo
de las necesidades de los estudiantes en un marco de enseñanza formal, pero con
perspectiva de su formación para el aprendizaje a lo largo de la vida en una realidad
tecnológica concreta.
Se trata de un formato de tarea que responde claramente a los principios del
aprendizaje conectado. Eso significa que la tarea pedida es situada, contextualizada,
su valor es percibido por parte de los estudiantes, explota la responsabilidad
compartida por los actantes, se valora el tiempo como un factor fundamental,
se apoya en el diálogo, la co-construcción y la identidad de los sujetos, enfatiza
en la reflexividad crítica y es apoyada y facilitada por el profesorado (Networked
Learning Editorial Collective (NLEC), 2020), si bien es importante precisar que
esta facilitación del profesorado se limita en el caso estudiando a la facilitación de
elementos que abunden en la autonomía del estudiante (definición y redefinición de
la rúbrica, clarificación del enfoque de las preguntas durante el periodo en el que las
preguntas se entregan a los estudiantes).
Si bien las condiciones de la pandemia que descolocó el mundo en 2020 y
parte de 2021 (Bozkurt et al., 2020) han marcado una de las iteraciones de este
desarrollo, lo cierto es que todas las excepcionalidades contextuales deberían hacerlo
igualmente y, si bien el modelo de confinamiento no debe considerarse como el ideal
en Educación Superior presencial, esperamos sinceramente que haya servido para
remarcar la urgencia de explorar modelos y formatos evaluativos diferentes a los
exámenes de conocimiento declarados presenciales en formato de pregunta corta o
de elección múltiple, más encaminados al control que al verdadero enriquecimiento
de los estudiantes (Biesta, 2010).

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 203-224.

DOI: h[Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 221
 L. Castañeda
Una experiencia de diseño de una tarea de evaluación sumativa en formato transmedia para formación inicial de profesorado

NOTAS

1.
En algunas iteraciones se proponía alternativamente “¿Cómo contribuyen tus
experiencias en esta asignatura a tu PLE (Entorno Personal de Aprendizaje)?”

REFERENCIAS

Arruabarrena, R., Sanchez, A., Blanco, of uncertainty and crisis. Asian Journal of
J. M., Vadillo, J. A., y Usandizaga, I. Distance Education, 15(1), 1-126.
(2019). Integration of good practices of Bryant, A., y Charmaz, K. (2010). The
active methodologies with the reuse of SAGE Handbook of Grounded Theory:
student-generated content. International Paperback Edition (Edición: 1). SAGE
Journal of Educational Technology in Publications Ltd.
Higher Education, 16, 10. [Link] Castañeda, L. (2019) Formación inicial del
org/10.1186/s41239-019-0140-7 profesorado en el uso educativo de la
Banta, T. W., y Palomba, C. A. (2015). tecnología, una propuesta curricular.
Assessment Essentials: Planning, Quaderns Digitals, 89. 1-49. http://
Implementing, and Improving [Link]/index.
Assessment in Higher Education. Jossey php?accionMenu=hemeroteca.
Bass Wiley. [Link]&articulo_
Biesta, G. J. J. (2010). Good Education in id=11517
an Age of Measurement: Ethics, Politics, Castañeda, L., y Marin, V. (2020)
Democracy (1 edition). Routledge. Exploring pre-established performed
Biggs, J. (1996). Enhancing teaching roles in a networked learning activity:
through constructive alignment. Higher A sociomaterial study case. Networked
Education, 32(3), 347-364. [Link] Learning Conference Proceedings, 2020,
org/10.1007/BF00138871 9. [Link]
Biggs, J. (2014). Constructive alignment in Challinor, J., Marín, V. I., y Tur, G. (2017). The
university teaching. HERDSA. Review of development of the reflective practitioner
Higher Education, 1, 5. through digital storytelling. International
Blaschke, L. M. (2012). Heutagogy and Journal of Technology Enhanced
lifelong learning: A review of heutagogical Learning, 9(2-3), 186-203. [Link]
practice and self-determined learning. org/10.1504/IJTEL.2017.084498
The International Review of Research Corbin, J., y Strauss, A. (1990). Grounded
in Open and Distributed Learning, 13(1), theory research: Procedures, canons
56-71. [Link] and evaluative criteria. Zeitschrift Für
v13i1.1076 Soziologie, 19(6), 418-427. [Link]
Bozkurt, A., Jung, I., Xiao, J., Vladimirschi, org/10.1515/zfsoz-1990-0602
V., Schuwer, R., Egorov, G., Lambert, De Benito, B., y Salinas, J. (2016). La
S., Al-Freih, M., Pete, J., Don Olcott, J., Investigación Basada en Diseño
Rodes, V., Aranciaga, I., Bali, M., Alvarez, en Tecnología Educativa. Revista
A. J., Roberts, J., Pazurek, A., Raffaghelli, Interuniversitaria de Investigación
J. E., Panagiotou, N., Coëtlogon, P. de, … en Tecnología Educativa. [Link]
Paskevicius, M. (2020). A global outlook org/10.6018/riite2016/260631
to the interruption of education due to de Laat, M., y Dohn, N. B. (2019). Is
COVID-19 pandemic: Navigating in a time Networked Learning Postdigital

222 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 203-224.
DOI: h[Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 L. Castañeda
Una experiencia de diseño de una tarea de evaluación sumativa en formato transmedia para formación inicial de profesorado

Education? Postdigital Science and Plomp, T., y Nieveen, N. (Eds.). (2013).

Education, 1(1), 17-20. [Link] Educational Design Research.
org/10.1007/s42438-019-00034-1 Netherlands Institute for Curriculum
Gulikers, J. T. M., Bastiaens, T. J., Development (SLO). [Link]
y Kirschner, P. A. (2004). A five- [Link]/Documenten/educational-design-
dimensional framework for authentic [Link]
assessment. Educational Technology Sambell, K., Brown, S., y Graham, L.
Research and Development, 52(3), 67. (2018). Professionalism in Practice: Key
[Link] Directions in Higher Education Learning,
Hatch, J. A. (2002). Doing Qualitative Teaching and Assessment. Palgrave
Research in Education Settings. Macmillan. [Link]
Hatton, N., y Smith, D. (1995). Reflection 3-319-54552-3
in teacher education: Towards definition Scolari, C. (2014). Narrativas transmedia:
and implementation. Teaching and Nuevas formas de comunicar en la era
Teacher Education, 11(1), 33-49. https:// digital. Anuario AC/E de Cultura Digital,
[Link]/10.1016/0742-051X(94)00012-U 1, 71-81.
Llopis Nebot, M. Á. (2017). Pensamiento Secolsky, C., y Denison, D. B. (2018).
reflexivo en el Prácticum I del alumnado Handbook on Measurement,
de Grado de Maestro en Educación Assessment, and Evaluation in Higher
Primaria a través de diarios online [Ph.D. Education. Routledge. [Link]
Thesis, Universitat Jaume I]. [Link] org/10.4324/9781315709307
org/10.6035/14034.2017.6627 Shepard, L. A. (2000). The Role of Assessment
Lupton, E. (2017). Design is Storytelling. in a Learning Culture. Educational
Cooper Hewitt. Researcher, 29(7), 4–14. [Link]
Marzano, R. J., y Kendall, J. S. (2006). org/10.3102/0013189X029007004
The New Taxonomy of Educational Shepard, L. A. (2006). La Evaluación en el
Objectives. Corwin Press. aula. In R. L. Brennan (Ed.), Educational
Networked Learning Editorial Collective Measurement (Fourth Edition). American
(NLEC). (2020). Networked Learning: Council of Education.
Inviting Redefinition. Postdigital Science Smith, C. D., Worsfold, K., Davies, L., Fisher,
and Education. [Link] R., y McPhail, R. (2013). Assessment
s42438-020-00167-8 literacy and student learning: The case for
Pellegrino, J. W., Chudowsky, N., y Glaser, explicitly developing students ‘assessment
R. (2001). Knowing what students know: literacy’. Assessment & Evaluation in
The science and design of educational Higher Education, 38(1), 44-60. https://
assessment. National Academy Press: [Link]/10.1080/02602938.2011.598636
Washington. Tur, G., Challinor, J., y Marín, V. I. (2016).
Perry, M. S. (2020). Multimodal Engagement Digital Artefacts for Reflection on
through a Transmedia Storytelling Project Identity in Teacher Education. Reflecting
for Undergraduate Students. Gema Education, 10(1), 4-25.
Online Journal of Language Studies, Yin, R. K. (2013). Case Study Research:
20(3), 19-40. [Link] Design and Methods. SAGE Publications,
gema-2020-2003-02 Inc.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 203-224.

DOI: h[Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 223
 L. Castañeda
Una experiencia de diseño de una tarea de evaluación sumativa en formato transmedia para formación inicial de profesorado

PERFIL ACADÉMICO Y PROFESIONAL DE LA AUTORA

Linda Castañeda es profesora Titular de Universidad de Tecnología Educativa,

del Departamento de Didáctica y Organización Escolar de la Facultad de Educación
de la Universidad de Murcia. Es miembro del Grupo de Investigación de Tecnología
Educativa de la misma Universidad. Su investigación se interesa especialmente por
el impacto de la tecnología en la educación a todos los niveles, el análisis crítico de
la Tecnología Educativa, la implementación de estrategias didácticas emergentes en
contextos formales y no formales, los Entornos Personales de Aprendizaje (PLE) y
el desarrollo de competencias para el mundo digital. [Link]
1055-9241
E-mail: lindacq@[Link]

DIRECCIÓN DE LA AUTORA
Facultad de Educación
Universidad de Murcia
30100 Murcia (España)

Fecha de recepción del artículo: 16/12/2020

Fecha de aceptación del artículo: 12/02/2021
Fecha de aprobación para maquetación: 18/02/2021

224 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 203-224.
DOI: h[Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
I.S.S.N.: 1138-2783

Calidad en e-Learning: Identificación de sus

dimensiones, propuesta y validación de un
modelo para su evaluación en Educación
Superior
(e-Learning Quality: Identification of its Dimensions,
Proposal and Validation of a Model for its Assessment
in Higher Education)

Alberto Ortiz-López
Susana Olmos-Migueláñez
José Carlos Sánchez-Prieto
Universidad de Salamanca, USAL (España)

DOI: [Link]

Cómo referenciar este artículo:

Ortiz-López, A., Olmos-Migueláñez, S., y Sánchez-Prieto, J. C. (2021). Calidad
en e-Learning: Identificación de sus dimensiones, propuesta y validación de un
modelo para su evaluación en Educación Superior. RIED. Revista Iberoamericana
de Educación a Distancia, 24(2), pp. 225-244. [Link]
ried.24.2.29073

Resumen

La evaluación de la calidad en instituciones de Educación Superior es un proceso no

estandarizado y dependiente de cada institución universitaria. La digitalización de la docencia
y las situaciones acontecidas en los últimos tiempos han provocado un aumento notable en el
interés y la relevancia del e-Learning en los procesos de enseñanza/aprendizaje; entendiendo
también la calidad como un elemento fundamental en su evaluación y mejora.
Esta investigación propone la identificación de las dimensiones relativas a la calidad
del e-Learning, denotando la necesidad de un nuevo marco evaluativo tras el análisis de la
literatura y generando un nuevo modelo. Tras su construcción, el estudio se centró en la
validación de su contenido por cuatro jueces expertos en materia de evaluación de la calidad
y de e-Learning. Este proceso de validación incluyó la elaboración de una herramienta para
la evaluación de dimensiones e ítems y una presentación del modelo. Por otro lado, para
la evaluación de resultados se realizó una evaluación cualitativa (análisis de contenidos y
sugerencias) y una evaluación cuantitativa (analizada mediante estadísticos descriptivos y el
cálculo del CVC). Esta validación mostró un alto nivel de aceptación y conformidad de los jueces

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 225-244.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 225
 A. Ortiz-López; S. Olmos-Migueláñez; J. C. Sánchez-Prieto
Calidad en e-Learning: Identificación de sus dimensiones, propuesta y validación de un modelo para su evaluación...

con el modelo, las dimensiones y los ítems propuestos. Partiendo de esta validación se elaboró
el modelo definitivo que consta de cuatro dimensiones principales, 14 subdimensiones y un
total de 80 indicadores que tratan de evaluar cada factor de calidad relevante en e-Learning.
Las limitaciones y futuras vías de investigación derivadas de la propuesta se presentan en las
conclusiones finales.

Palabras clave: evaluación; calidad de la enseñanza; tecnología de la educación; enseñanza

superior; método de enseñanza; construcción de modelos.

Abstract

Quality assessment in higher education institutions is a non-standardised process

and it depends on each university. The digitalisation of teaching and the situations, which
have occurred in recent times, have led to a notable increase in the interest and relevance
of e-Learning in both the teaching as well as the learning processes, with quality also being
understood as a fundamental element in its evaluation and improvement.
This research proposes the identification of the dimensions related to the e-Learning
quality, noting the need of a new evaluative framework according to the analysis of the
literature and, also, generating a new model. After its construction, this study focused on the
validation of its content by four expert judges in the quality evaluation and e-Learning fields.
This validation process included the development of a tool for the evaluation of its dimensions
and items, as well as a presentation of the model. On the other hand, both a qualitative
evaluation (content analysis and suggestions) as well as a quantitative evaluation (analysed
through descriptive statistics and the CVC calculation) were carried out for evaluating the
outcomes. This validation showed a high level of acceptance and conformity of the judges
with the model, the dimensions and the proposed items. Based on this validation, the final
model was developed consisting of four main dimensions, 14 sub-dimensions and a total of 80
indicators that attempt to assess each relevant quality factor in e-Learning. Limitations and
future avenues of research derived from the proposal are presented in the final conclusions.

Keywords: assessment; quality of teaching; education technology; higher education; teaching

method; model building.

La Educación Superior se encuentra hoy inmersa en una amplia transformación

hacia la digitalización de sus enseñanzas, servicios y procesos; y hacia la mejora
de la calidad tanto de su docencia como de todos aquellos factores externos que
la condicionan y que dependen de la propia institución. Esta constante reflexión y
mejora de los procesos hacia la consecución de altos niveles de calidad es hoy una de
las principales hojas de ruta para cualquier entidad y profesional que la conforma,
y es aquí donde la intervención de los nuevos escenarios y marcos de aprendizaje
condiciona y cuestiona todo el proceso de consecución de la calidad, de su relevancia
y sus diferentes interpretaciones (Fernández et al., 1999; Córdova et al., 2017).

226 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 225-244.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 A. Ortiz-López; S. Olmos-Migueláñez; J. C. Sánchez-Prieto
Calidad en e-Learning: Identificación de sus dimensiones, propuesta y validación de un modelo para su evaluación...

En la transformación hacia las enseñanzas en red son dos las vertientes

bibliográficas que se posicionan en función de la concepción de la calidad
en e-Learning. Así, mientras que parte de la comunidad científica considera
fundamental partir de una reestructuración y replanteamiento de las dimensiones
clásicas de evaluación de la calidad en el ámbito presencial, valorando su adecuación
y su nueva dimensionalización de cara a una correcta evaluación en este ámbito;
otros consideran que la evaluación ha de ser exactamente la misma (sin cambiar
la dimensionalización de la calidad), solamente difiriendo en los pesos de sus
dimensiones (Marciniak y Gairín-Sallán, 2017).
Estos cambios que hoy se producen en la mayoría de enseñanzas tienen como
principal sustento las Tecnologías de la Información y la Comunicación (TIC), las
cuales permiten la configuración de procesos de enseñanza a las características del
estudiante, la adaptación de estilos de aprendizaje, la posibilidad de una interacción
mayor, más rápida y más síncrona; y la implementación de modelos de calidad, no
solo centrados en la variable tecnológica sino también en las variables didácticas,
organizativas y pedagógicas de la enseñanza en su término más amplio (Almenara,
2006).
Los avances que la Educación Superior dirigía en los últimos años hacia esta
modalidad se impulsan hoy a causa de las repercusiones educativas de la crisis
sanitaria del COVID-19, la cual ha obligado a realizar una fugaz reestructuración
de los marcos de enseñanza (derivado del cese forzado de la presencialidad) y una
rápida adaptación a los entornos virtuales de aprendizaje, en la que el e-Learning se
presenta como la única alternativa viable a la continuación del proceso de enseñanza-
aprendizaje (Aguas-Díaz et al., 2020). El problema que esta adaptación ha tenido
deriva de la falta de consenso y la heterogeneidad de las características encontradas
en función de la institución, la plataforma o el perfil de cada docente; entre otros.
Además, la rapidez de cambio e implementación de nuevos modelos requiere
también de la evaluación de la calidad de dichos cambios, la cual es esencial para
la justificación y el correcto desarrollo del e-Learning. Por otro lado, es importante
que el docente y la institución cuente con ayudas en el proceso de migración a la
educación virtual (Moreno-Correa, 2020).
El e-Learning y las grandes readaptaciones que su implementación supone
requiere también una gran flexibilidad académica e institucional, ya que todavía
son escasos los protocolos concretos para la planificación y ejecución de esta nueva
modalidad de enseñanza en muchas instituciones de Educación Superior (Cerdas-
Montano et al., 2020), por lo que es fundamental evaluar la calidad de cada paso
y cada avance. Esta calidad e-Learning, según Seoane y García-Peñalvo (2010), es
definida como la “adecuación y relación directa de recursos técnicos, humanos,
tecnológicos, métodos y herramientas utilizados en el proceso de enseñanza-
aprendizaje virtual, acorde a las necesidades y expectativas de los estudiantes con el
fin de garantizar la optimización del proceso de aprendizaje” (p. 156).

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 225-244.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 227
 A. Ortiz-López; S. Olmos-Migueláñez; J. C. Sánchez-Prieto
Calidad en e-Learning: Identificación de sus dimensiones, propuesta y validación de un modelo para su evaluación...

En lo que a las diferentes perspectivas respecta, Colás et al. (2005) presentan que
e-Learning ha de considerar, para una evaluación completa; la perspectiva tecnológica
(valoración de la calidad de las plataformas, orientadas a la adecuación de los cursos
y enseñanzas), la perspectiva pedagógica (necesaria evaluación y readaptación
dada la implementación de modelos provenientes de la formación presencial,
con el replanteamiento de la “e-Pedagogía” y la revisión de modelos evaluativos
pedagógicos acordes a los nuevos pensamientos actuales y a las posibilidades que el
e-Learning ofrece) y, la evaluación desde una perspectiva psicológica (repensando
las teorías del aprendizaje, las teorías cognitivas y el constructivismo).
García-Peñalvo (2005) presenta las dimensiones que constituyen el e-Learning y
justifica que en función de los pesos de una u otra dimensión se obtienen diferentes
modelos formativos y evaluativos. Estas dimensiones son los contenidos (calidad
y estructuración), la tecnológica (plataformas y campus virtuales de formación), la
tutoría (nueva concepción), la evaluación/acreditación (cambios en su planteamiento
y en su función) y los servicios (más amplio y menos delimitado, abarca acción
docente, gestión, elementos de evaluación, etc.).
Las diferentes perspectivas y dimensiones tratan de abarcar el e-Learning y su
calidad desde un ámbito muy amplio y con distintas bases (tecnológicas, pedagógicas,
económicas y de gestión; entre otras), sin lograr cubrir aún una metodología tan
compleja y cambiante. Por ello, es importante apostar por la creación de estándares
de calidad y por la evaluación de la calidad en todos sus contextos, fases y niveles;
explorando nuevos métodos de evaluación con el objetivo de presentar niveles de
calidad acordes a las nuevas realidades (Choi y Jeong, 2019).
Esta situación provoca que hoy se cuente con diversas perspectivas para la
evaluación del e-Learning y su calidad. Por un lado, se encuentran modelos centrados
y especializados en elementos parciales de la actividad formativa (materiales,
plataformas, costos-beneficios, eficacia…), y por otro lado modelos con perspectivas
globales de los que destacan dos tendencias: los modelos centrados en normas y
estándares de calidad, y aquellos centrados en la práctica del benchmarking
(Martínez, 2015).
Sin embargo, pese a los avances en la literatura y entrando ya en los modelos
específicos de la evaluación de la calidad en instituciones de educación superior, éstas
siguen presentando planes de calidad sin contar con los avances en la investigación,
tomando aspectos de infinidad de fuentes y sin alcanzar criterios comunes para la
evaluación. Además, es necesario abogar también por la construcción de estándares
e indicadores para la evaluación del e-Learning que vayan en consonancia con las
características propias y los diferentes modelos existentes; y que no solo tenga en
consideración aspectos formativos y tecnológicos, sino que también ahonde en las
variables personales y organizacionales, poco presentes en algunos modelos y parte
esencial también de una completa evaluación de la calidad (Mejía y López, 2016).
En un metaanálisis llevado a cabo por Marciniak y Gairín-Sallán (2017) sobre
diferentes modelos propuestos para la evaluación de la calidad en e-Learning, fueron

228 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 225-244.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 A. Ortiz-López; S. Olmos-Migueláñez; J. C. Sánchez-Prieto
Calidad en e-Learning: Identificación de sus dimensiones, propuesta y validación de un modelo para su evaluación...

catorce las dimensiones resultantes como relevantes para la calidad y su evaluación:

Justificación del programa virtual, objetivos formativos del programa virtual,
perfil de ingreso y egreso, contenido temático del programa virtual, actividades
de aprendizaje, perfil del docente en línea, materiales y recursos didácticos (guía,
unidad y otros materiales), estrategias didácticas, tutoría, evaluación del aprendizaje,
plataforma virtual, evaluación de la fase inicial del programa, evaluación del
desarrollo del programa y evaluación final del programa.
La calidad en Educación Superior toma diferentes perspectivas y propuestas para
su evaluación, siendo muy diversas las herramientas y los marcos disponibles para
ello, y encontrando infinidad de modelos en función de los autores, las dimensiones
y el objetivo global de la evaluación. En un breve recorrido por estos modelos y
propuestas, destaca el modelo ELQ, implementado por la Agencia Nacional Sueca
de Educación Superior con el objetivo de determinar los componentes de la calidad
en entornos virtuales. Este modelo fue resultado de prácticas educativas en materia
digital en Europa, incluyendo aspectos y criterios para la evaluación de la calidad en
e-Learning en Educación Superior (Mixnahuatl et al., 2013). Este modelo avanza y
se perfecciona con la práctica, y tras él se plantean los parámetros de calidad para la
evaluación de las distintas fases propuestas, facilitando en gran medida su evaluación
(Hansson et al., 2009).
En la práctica evaluativa en las Instituciones de Educación Superior, la calidad no
sigue un estándar en su evaluación, tomando cada entidad distintas perspectivas en
función de los intereses que sus responsables dictaminen, priorizando la evaluación
de unas dimensiones frente a otras e incluso no contando con todas las dimensiones
que componen la calidad en este proceso; y denotando la falta clara de un marco
evaluativo común y ampliamente aceptado.
Este artículo se compone de tres secciones que se exponen seguidamente y que
incluyen la presentación de los modelos analizados, la construcción del nuevo modelo
y el proceso de validación de contenido (metodología); el análisis de la validación
realizada por los jueces expertos y la adaptación y presentación final del modelo
resultante (resultados) y el análisis de las aportaciones que este nuevo modelo
supone en el campo del e-Learning y en la evaluación de la calidad, así como las vías
futuras de investigación que este nuevo marco evaluativo supone (discusión).

METODOLOGÍA: DISEÑO Y VALIDACIÓN DEL MODELO

Se presenta a continuación el proceso seguido para la construcción del nuevo

modelo y el diseño del instrumento para la evaluación de la calidad. Para ello, se
partirá del análisis de varios modelos empleados en la actualidad y la categorización
de sus dimensiones, continuando con el proceso de validación de contenido al que
este nuevo modelo ha sido sometido para alcanzar el modelo final con las nuevas
dimensiones.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 225-244.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 229
 A. Ortiz-López; S. Olmos-Migueláñez; J. C. Sánchez-Prieto
Calidad en e-Learning: Identificación de sus dimensiones, propuesta y validación de un modelo para su evaluación...

Análisis de modelos de evaluación de calidad en e-Learning

Esta investigación toma como punto de partida las aportaciones realizadas

durante los últimos cinco años en materia de evaluación de la calidad en e-Learning
y toma la referencia de los modelos propuestos por los autores más relevantes
en este ámbito y que hoy en día son herramientas en diferentes instituciones de
Educación Superior para la evaluación de la calidad en sus modalidades e-Learning,
seleccionados tras la realización de una revisión sistemática de la literatura (Ortiz-
López et al., 2020).
El nuevo modelo se propone con el objetivo de aunar los criterios y dimensiones
planteadas por distintos investigadores en este campo, presentando un instrumento
más exhaustivo y profundo al contemplar distintas perspectivas e indicadores sobre
la calidad, permitiendo así una evaluación más completa tras la integración de las
dimensiones más comunes y el estudio de su relevancia, y tratando de minimizar
las debilidades que los modelos actuales presentan al no contemplar la totalidad de
dimensiones que la calidad tiene y que influyen sobre el resultado de cada evaluación
(Rubio, 2003).
Para el análisis de las propuestas actuales se ha realizado una categorización
de las dimensiones genéricas que los estudios proponen, tratando de delimitarlas
para cada uno de ellos bajo una denominación común y corroborando cuáles son
objeto de estudio y cuáles no en cada instrumento de evaluación, y presentando una
muestra de todas las dimensiones que afectan a la evaluación de la calidad (tabla 1).

Tabla 1
Análisis de las dimensiones relevantes en la evaluación de la calidad en e-Learning
según cada autor

Dimensiones 1
SQ CX CQ AT SP DP EV AS EN IP ES MR
Choi y Jeong (2019) ▪ ▪ ▪
García y González
▪ ▪ ▪
(2015)
Kurilovas y
▪ ▪ ▪ ▪
Vinogradova (2016)
La Rotta et al. (2019) ▪ ▪ ▪ ▪ ▪ ▪
Mahdiuon et al. (2017) ▪ ▪ ▪
Marciniak (2018) ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪
Marciniak (2015) ▪ ▪ ▪ ▪ ▪ ▪
Margalina et al. (2017) ▪ ▪ ▪ ▪

230 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 225-244.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 A. Ortiz-López; S. Olmos-Migueláñez; J. C. Sánchez-Prieto
Calidad en e-Learning: Identificación de sus dimensiones, propuesta y validación de un modelo para su evaluación...

Dimensiones 1
SQ CX CQ AT SP DP EV AS EN IP ES MR
Martínez-Argüelles
y Batalla-Busquets ▪ ▪ ▪ ▪
(2016)
Martínez-Caro et al.
▪ ▪ ▪ ▪
(2015)
Park y Lim (2015) ▪ ▪ ▪ ▪ ▪ ▪
Pecori et al. (2019) ▪ ▪
Pham et al. (2019) ▪ ▪ ▪ ▪ ▪ ▪ ▪
Prieto-Rodríguez et al.
▪ ▪ ▪ ▪ ▪
(2016)
Raspopovic y
▪ ▪ ▪
Jankulovic (2017)
Serrano et al. (2018) ▪ ▪ ▪ ▪
Torres-Barbazal et al.
▪ ▪ ▪ ▪ ▪ ▪
(2018)
Waheed et al. (2016) ▪ ▪ ▪ ▪ ▪ ▪
Waheed y Kaur (2017) ▪ ▪ ▪ ▪ ▪ ▪

Esta variedad en cuanto a las dimensiones de los distintos modelos, así como
la variabilidad presente en sus ítems, hacen que la evaluación de la calidad carezca
todavía de una herramienta fiable y aceptada de forma global, por lo que es
importante focalizar la investigación en la detección de las actuales dimensiones,
subdimensiones e ítems y tratar de aunar todas ellas en un marco común y una
herramienta que contemple las distintas perspectivas. (Choi y Jeong, 2019). Las
dimensiones y sus múltiples denominaciones se aúnan de forma posterior en cuatro
grandes subdimensiones (facilitando la comprensión del modelo), disgregadas en
subdimensiones posteriormente. Estas cuatro dimensiones son la calidad de la
institución, la calidad docente, la calidad del sistema o plataforma y la evaluación del
programa. En la búsqueda de un estándar a la hora de categorizar las dimensiones
de la calidad y atendiendo también a los pesos relativos que los estudios analizados
dan a cada dimensión, se alcanza la conclusión unánime de los autores de la
identificación de cuatro dimensiones principales. Para contar con un mayor nivel de
conformidad, el análisis de la propuesta validada de Marciniak y Gairín-Sallán (2017)
para la autoevaluación de la calidad confirmó la presencia de cuatro dimensiones
principales: organización del programa, diseño del programa (metodológico y
docente), desarrollo del programa (cronológico y tecnológico) y evaluación del
programa. Por ello, se mantiene la decisión de asumir cuatro dimensiones principales
que conformarán el primer modelo diseñado de cara al proceso de validación.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 225-244.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 231
 A. Ortiz-López; S. Olmos-Migueláñez; J. C. Sánchez-Prieto
Calidad en e-Learning: Identificación de sus dimensiones, propuesta y validación de un modelo para su evaluación...

Una vez analizadas estas propuestas y detectadas las dimensiones que afectan a
la calidad, se diseña y formula la hipótesis relacional que es sobre la que trabaja este
modelo propuesto. Tras ello, se diseña el nuevo modelo atendiendo a las dimensiones
más relevantes y a los cuatro grupos dimensionales propuestos (mencionados
anteriormente) para poder realizar la evaluación de la calidad en e-Learning. El
modelo resultante consta de dos secciones diferenciadas, presentando un carácter
mixto (recopilación cuantitativa y cualitativa de la información). La primera parte del
modelo se destina a la evaluación de las cuatro dimensiones (indicando previamente
el objeto de evaluación) y de sus dimensiones mediante la categorización de los
indicadores. La segunda parte del mismo responde a una evaluación cualitativa del
evaluador, completando y enriqueciendo los resultados del proceso.
La escala que acompaña a cada ítem en esta evaluación de la calidad es una
escala nominal dicotómica y excluyente, en la que indicar el cumplimiento o no
cumplimiento del indicador y en la que poder incluir una pequeña justificación. En
este planteamiento se ha optado por el empleo de la dicotomía para dictaminar si
el criterio se cumple o no se cumple, y no entrar en interpretaciones del grado de
cumplimiento que complicarían en gran medida la evaluación final de los resultados.
Se incorpora además una evaluación cualitativa de cada ítem, de cada dimensión y
del constructo global; en la que el evaluador puede incluir un comentario escrito
para poder realizar cualquier indicación que considere oportuna y de cara también a
contar con una evaluación más completa y orientada a la mejora.
El instrumento elaborado cuenta con un total de 74 ítems agrupados en cuatro
dimensiones (tabla 2). Estos ítems proceden de la reflexión y adaptación de las
distintas propuestas y también de la elaboración propia de cara a una correcta
comprensión total del constructo.

Tabla 2
Estructura del modelo diseñado

Número de
Dimensión Número de ítems
subdimensiones
Calidad de la institución 3 14
Calidad docente 4 30
Calidad del sistema de aprendizaje 2 15
Calidad de la evaluación del programa 3 15

Los constructos planteados, con el objetivo de facilitar y profundizar en la

evaluación, se dividen a su vez en un total de 12 subdimensiones que profundizan en
un criterio de evaluación determinado para cada uno de ellos (tabla 3).

232 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 225-244.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 A. Ortiz-López; S. Olmos-Migueláñez; J. C. Sánchez-Prieto
Calidad en e-Learning: Identificación de sus dimensiones, propuesta y validación de un modelo para su evaluación...

Tabla 3
Composición inicial del modelo

Número de
ítems
Dimensión: Calidad de la institución
Política institucional 5
Contexto institucional 4
Respuesta y ayuda institucional 5
Dimensión: Calidad Docente
Función docente 11
Estrategias docentes 7
Materiales y recursos docentes 7
Tutoría 5
Dimensión: Calidad del sistema de aprendizaje o plataforma
Funcionamiento 9
Accesibilidad 6
Dimensión: Calidad de la evaluación del programa
Evaluación de la preparación previa del programa 3
Evaluación procesual 4
Evaluación final 8

Proceso de validación de contenido

Para el proceso de validación de contenido del modelo diseñado, se planteó

un instrumento de validación adaptado de las propuestas de Chiang et al. (2013),
Galicia et al. (2017) y García-Llorente et al. (2019). La herramienta propuesta para
la validación contiene una descripción del modelo e instrumento y su finalidad, una
descripción de las dimensiones y subdimensiones descritas y un planteamiento de la
evaluación a realizar dividida en tres grandes módulos. En las instrucciones se indica
además qué variables valorar de cada subdimensión/dimensión (suficiencia de ítems
y relevancia para la dimensión/constructo) y de cada ítem (coherencia, relevancia y
claridad). La escala para la validación de contenido es una escala tipo Likert de 1 a
4, en la que 1 es la falta total de coherencia / relevancia / claridad / insuficiencia de
ítems / irrelevancia de la dimensión, y 4 la completa relación / relevancia / relación
/ excesividad de ítems.
El primer módulo corresponde, para cada dimensión, a la evaluación de la
coherencia, relevancia y claridad de cada ítem de forma totalmente independiente
al resto y a las dimensiones, analizando exclusivamente la redacción y el sentido del
ítem. En segundo lugar, los evaluadores tuvieron que analizar la suficiencia de los
ítems y la representatividad para el conjunto (ambas también en escala de 1 a 4) para

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 225-244.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 233
 A. Ortiz-López; S. Olmos-Migueláñez; J. C. Sánchez-Prieto
Calidad en e-Learning: Identificación de sus dimensiones, propuesta y validación de un modelo para su evaluación...

las subdimensiones planteadas para cada constructo. Este proceso fue repetido de
la misma forma para las cuatro dimensiones, incluyendo espacios para comentarios
adicionales del evaluador al final de cada dimensión.
Por último, se incluye también una evaluación para las subdimensiones
presentes en el cuestionario en relación con su suficiencia y representatividad
para el constructo global (también evaluable en una escala Likert 1-4). Esta escala
se complementa con una valoración cualitativa de los evaluadores, con espacios al
final de cada dimensión y un espacio final para que los evaluadores puedan emitir
sus propios juicios cualitativos sobre el instrumento y la validación de contenido
realizada.
Tras el diseño del instrumento para la validación de contenido, esta investigación
seleccionó a un total de cuatro evaluadores expertos nacionales que destacan por
ser profesionales del campo educativo y tecnológico e investigadores tanto en el
ámbito de la evaluación de la calidad como en el ámbito del e-Learning y contar
con publicaciones relevantes de carácter internacional sobre el tema de estudio.
Una vez establecido el contacto vía mail con los mismos, se les facilitaron todas las
instrucciones, un resumen del instrumento original y las dimensiones planteadas
y, el documento para la validación. Ya recibidas las evaluaciones, éstas fueron
digitalizadas para su análisis e interpretación de resultados. El proceso de validación
de contenido del modelo comenzó el día 11 de noviembre (con el envío de la solicitud,
instrucciones y modelo a los autores) y la última validación fue recibida por los
autores el día 28 del mismo mes; con una duración total de 17 días.

RESULTADOS: UN MODELO UNIFICADO PARA LA EVALUACIÓN DE

LA CALIDAD EN E-LEARNING EN EDUCACIÓN SUPERIOR

Como criterio empleado en la validación y en la selección de dimensiones,

subdimensiones e ítems; se eliminan aquellas que presentan valores inferiores
a 2, se realizan modificaciones profundas en los ítems que comprenden valores
entre 2 y 3, y se modifica la formulación de los ítems con valores inferiores a 3,5.
Complementariamente también se calculó el coeficiente de validez de contenido
(CVC) (Hernández-Nieto, 2002) para la suma de las puntuaciones obtenidas por los
ítems en los tres criterios. De esta manera, se admitieron aquellos ítems y dimensiones
con un CVC superior a 0,7 (Pedrosa et al., 2014) y se modificaron aquellos que a pesar
de tener puntuaciones medias superiores a 3,5 en las tres dimensiones no contasen
con un CVC superior al punto de corte.
Finalmente, para la reformulación y la readaptación, se han tomado en cuenta
todas aquellas consideraciones realizadas de forma cualitativa por los revisores
expertos.
En el análisis de las dimensiones planteadas, los resultados presentan una media
de suficiencia de 3,84 (D.T.= 0,289) y una representatividad para el constructo
de 3,92 (D.T.= 0,144) sobre 4, por lo que se deduce un buen planteamiento de

234 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 225-244.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 A. Ortiz-López; S. Olmos-Migueláñez; J. C. Sánchez-Prieto
Calidad en e-Learning: Identificación de sus dimensiones, propuesta y validación de un modelo para su evaluación...

dimensiones. En cuanto a las subdimensiones, los resultados también son buenos,

con una suficiencia de medida media de 3,63 (D.T.= 0,602) y una representatividad
de 3,74 (D.T.= 3,74). Por lo que a la evaluación individual de los ítems respecta, los
resultados generales fueron muy positivos. El valor medio de coherencia para los
ítems fue de 3,90 (D.T.= 0,172) sobre 4, de relevancia de 3,85 (D.T.= 0,308) y su
claridad de 3,68 (D.T.= 0,537). Los resultados estadísticos obtenidos para el conjunto
de ítems que componen cada constructo siguiendo los criterios de pertinencia,
relevancia y claridad se encuentran disponibles en el enlace: [Link]
com/document/d/1ThDL20-20Vj5SL9V8gVPJ1O3umGjjEX0H8-UJMiXUkk/
edit?usp=sharing
Tras el análisis de resultados y con base en los criterios establecidos para esta
validación se determinó, en primer lugar, que las dimensiones presentan una adecuada
estructura que no requiere modificación alguna. En cuanto a las dimensiones,
se estudió el planteamiento de la suficiencia de ítems en la subdimensión 2 y 3.
Respecto a los ítems, se llevó a cabo la realización de modificaciones en cuanto a
la coherencia de ellos (63, 64, 65, 66), en su relevancia e interpretación (ítems 63,
64, 66) y en la redacción y claridad que presentan (ítems 9, 30, 40, 45, 64, 72, 74).
Además, se determinó la reestructuración y modificación profunda por problemas
de claridad de los ítems: 14, 29, 64, 65, 66 y 71. Por último, el ítem 35 fue modificado
profundamente por no alcanzar la puntuación umbral del CVC (0,7).
En una perspectiva cualitativa, los cuatro jueces incluyeron comentarios tanto
para las dimensiones como para el constructo general. Las principales evaluaciones
refieren a la sustitución terminológica en alguno de los ítems de distintos sustantivos,
atributos o tiempos verbales; y también al planteamiento de incorporación de alguna
subdimensión e ítem para mejorar la medida del constructo, así como la eliminación
o movimiento de alguno de ellos de cara al modelo final.
Los puntos fuertes que señala esta evaluación de jueces expertos se centran en
la profundidad del modelo para medir los distintos componentes de la calidad, así
como su potencial en el momento actual en materia de virtualización de la docencia
universitaria. Además, se indica también lo positivo de plantear un nuevo modelo
en materia de evaluación de la calidad en un campo aún por explorar, y la buena
profundidad que el nuevo marco generado tiene en cuanto al número de ítems que
comprenden la calidad.
En cuanto a las limitaciones del modelo que los jueces señalan, se encuentra la
complejidad para la evaluación (dada la profundidad de la misma), y la necesaria
experiencia y conocimientos del evaluador que la implemente. Además es una
limitación también el acceso a las políticas institucionales en materia de calidad y a su
entramado administrativo y de soporte, lo cual requiere de una buena predisposición
del docente, de los evaluadores y de los agentes implicados en la evaluación para
poder constatar el cumplimiento de los ítems.
Teniendo en cuenta las aportaciones realizadas por los expertos, se concluyó el
diseño del modelo final manteniendo las dimensiones planteadas (en consonancia
con lo planteado en el diseño del modelo y con el número de dimensiones planteado

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 225-244.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 235
 A. Ortiz-López; S. Olmos-Migueláñez; J. C. Sánchez-Prieto
Calidad en e-Learning: Identificación de sus dimensiones, propuesta y validación de un modelo para su evaluación...

por Marciniak y Gairín-Sallán, 2017), incluyendo dos nuevas subdimensiones (una

relativa a la coordinación pedagógica e institucional y otra a la evaluación de la calidad
del programa) y realizando las sustituciones indicadas en los ítems, añadiendo 8
ítems nuevos propuestos por los jueces expertos tras la eliminación de dos previos
e introduciendo también las modificaciones en aquellos que así ya se han indicado,
siendo un modelo resultante de 4 dimensiones, 14 subdimensiones y 80 ítems para
la evaluación de la calidad en e-Learning en Educación Superior (tablas 4 y 5).

Tabla 4
Estructura del modelo resultante tras la validación

Número de
Número de ítems
subdimensiones
Calidad de la institución 4 19
Calidad docente 4 26
Calidad del sistema de aprendizaje 2 15
Calidad de la evaluación del programa 4 20

Tabla 5
Ítems validados para el modelo final

Número de
ítems
Dimensión: Calidad de la institución
Política institucional 6
Contexto institucional 4
Respuesta y ayuda institucional 5
Coordinación pedagógica e institucional 4
Dimensión: Calidad Docente
Función docente 8
Estrategias docentes 5
Materiales y recursos docentes 8
Tutoría 5
Dimensión: Calidad del sistema de aprendizaje o plataforma
Funcionamiento 10
Accesibilidad 5
Dimensión: Calidad de la evaluación del Programa
Evaluación de la preparación previa del programa 3
Evaluación procesual 4
Evaluación final 9
Evaluación de la calidad del programa 4

236 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 225-244.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 A. Ortiz-López; S. Olmos-Migueláñez; J. C. Sánchez-Prieto
Calidad en e-Learning: Identificación de sus dimensiones, propuesta y validación de un modelo para su evaluación...

El modelo final se puede consultar en el siguiente enlace: [Link]

com/document/d/1BQxjD3x02eTiQBbWOHP_1yfC61Dps0wpSelmpDzFG2M/
edit#heading=h.31is5tajphdr
El marco propuesto para la evaluación de la calidad en e-Learning en Educación
Superior consta de cuatro dimensiones que evalúan las diferentes perspectivas y
componentes de la calidad, tratando de aportar un estudio completo y un indicador
fiable sobre la misma. Las cuatro dimensiones:

Calidad de la Institución

La calidad de la institución es entendida como un factor relevante y esencial

para la calidad de un programa (Marciniak, 2015). La institución es la base del
programa, el sustento del mismo y la entidad que lo ampara, lo desarrolla y lo
promueve. Por ello, la institución ha de ser el primer factor en el estudio de la
calidad de un programa e-Learning. La institución centra sus bases de la calidad en
las políticas institucionales que implementa y desarrolla (SD1), en su organización y
el contexto que la rodea y que comprenden sus estructuras (SD2), en la respuesta y
en la ayuda que la institución ofrece a sus usuarios en materia de e-Learning y en el
acompañamiento de sus enseñanzas (SD3); y en las políticas que la institución tiene
y articula en materia de coordinación pedagógica y su consonancia con el e-Learning
(SD4).

Calidad Docente

Por otro lado, la figura y la calidad del docente aportan también una representación
importante en el valor de la calidad de la institución en el ámbito digital (Santelices-
Etchegaray y Valenzuela-Rojas, 2015). Esta calidad está constituida por la función
docente, su formación y su preparación en este campo (SD5), las estrategias
docentes y las metodologías que éstos implementan en las enseñanzas en red de la
institución (SD7), la adaptación de los materiales y de los recursos a las plataformas
de enseñanza (SD7) y la acción tutorial, el acompañamiento que los docentes realizan
a su alumnado a través de la red (SD8).

Calidad del Sistema de Aprendizaje o Plataforma

La tercera dimensión y componente de la calidad de un programa de educación

en línea en Educación Superior es la calidad del sistema o de la plataforma mediante
la que se lleva a cabo el aprendizaje. Hoy prácticamente la totalidad de instituciones
poseen plataformas de esta índole, contando con suficientes herramientas para dotar
también de calidad a los sistemas formativos (Velasteguí, 2017). Esta plataforma
es fundamental y mediadora en el aprendizaje, por lo que su estudio es relevante

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 225-244.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 237
 A. Ortiz-López; S. Olmos-Migueláñez; J. C. Sánchez-Prieto
Calidad en e-Learning: Identificación de sus dimensiones, propuesta y validación de un modelo para su evaluación...

para la calidad global de la enseñanza. Por un lado, esta dimensión comprende el

funcionamiento del sistema institucional –analizando su funcionamiento, respuesta,
sincronía, consistencia, personal supervisor; entre otras– (SD9), y la accesibilidad
de la misma para la consulta y la interacción con los materiales, las funciones, las
guías docentes (SD10).

Calidad de la evaluación del Programa

Finalmente, la calidad ha de comprender también la propia evaluación de ella

que se realiza en el Programa de enseñanza y de los resultados y avances obtenidos.
En los programas actuales y en la formación en línea es hoy fundamental la
implementación y la evaluación continuada de la calidad y de los avances, contando
con órganos específicos y planes de seguimiento para ello (Tarí et al., 2007). Esta
evaluación se estudia desde la perspectiva de la calidad desde una visión completa y
profunda: desde la evaluación de la preparación previa del programa (preparación
de recursos y del programa, del entorno virtual) (SD11), la evaluación procesual del
mismo (seguimiento del programa, retroalimentación docente e institucional, estudio
continuado de la calidad y los resultados) (SD12); la evaluación final (objetivos,
evaluaciones aplicadas, niveles de satisfacción…) (SD13) y finalmente también se
comprende la propia evaluación de la calidad que el programa implementa, los
encargados de dicha evaluación y los ítems de calidad con los que cuenta (SD14).

DISCUSIÓN

La calidad en e-Learning es un aspecto fundamental en el desarrollo, la continuidad

y la garantía de las instituciones, enseñanzas y programas educativos que hoy se
implementan en red en el ámbito de la Educación Superior. Esta transformación
de la enseñanza y los cambios que afrontan las universidades, docentes, alumnado
y todo el personal implicado suponen grandes avances y adaptaciones a un nuevo
contexto más dinámico, adaptado y cambiante que la presencialidad. Por ello, y
ya que todavía no se dispone de un modelo profundo que evalúe todas las fases de
un proceso completo de enseñanza en red, es importante plantear un nuevo marco
evaluativo que contemple todo el proceso y todos los agentes implicados, pudiendo
realizar una amplia y profunda evaluación para entender la calidad como un factor
relevante y esencial en la enseñanza digital (Verdezoto-Rodríguez y Chávez-Vaca,
2018).
Con el objetivo de asentar las bases de un nuevo modelo validado, profundo y
longitudinal para la evaluación de un curso en modalidad e-Learning, se propuso una
validación de contenido por jueces expertos sobre el modelo generado. El proceso de
validación de contenido fue llevado a cabo por cuatro jueces expertos en e-Learning
y en evaluación de la calidad y el resultado de dicho proceso arrojó valores muy
elevados de suficiencia y representatividad de las dimensiones y subdimensiones

238 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 225-244.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 A. Ortiz-López; S. Olmos-Migueláñez; J. C. Sánchez-Prieto
Calidad en e-Learning: Identificación de sus dimensiones, propuesta y validación de un modelo para su evaluación...

planteadas y también altos valores de coherencia, relevancia y representatividad

para los ítems propuestos. Además, la evaluación cualitativa de los jueces expertos
contribuyó a la puntualización y mejora final del modelo con la adicción de ocho
nuevos ítems para una más completa evaluación de la calidad.
Mientras que los estudios actuales profundizan en una única dimensión de la
calidad, o plantean el conjunto de una forma limitada; el instrumento diseñado en
esta investigación para la evaluación de la calidad plantea una nueva y más amplia
perspectiva en el campo, presentando una nueva visión de la calidad y tratando
además de profundizar más en las dimensiones que ya han sido estudiadas por otros
autores. Por ello, este nuevo modelo plantea la unión de diferentes perspectivas y
dimensiones, la continuidad en la búsqueda de indicadores de calidad en ellas y
también una nueva visión de la calidad como un continuo de acciones compartidas
y complementarias que comprenden desde la acción institucional y las políticas
de coordinación, hasta la acción docente, la preparación previa del programa, la
respuesta de la plataforma o la evaluación realizada.
Este modelo no solo pretende ser de utilidad en las continuas evaluaciones
que las instituciones de Educación Superior realizan sobre sus enseñanzas en la
modalidad en red, sino que también es un modelo que tiene también cabida en la
autoevaluación docente sobre sus enseñanzas y cursos de cara a la mejora y a la
detección de necesidades. Además, el modelo diseñado es un modelo versátil que
admite una amplia multidisciplinariedad de evaluadores (dada la fácil comprensión
y medición de los indicadores) y la orientación a la mejora al detectar en qué
dimensión y subdimensión se encuentran aquellos ítems que presenten déficits
en la evaluación. Además, la evaluación propuesta en este nuevo modelo permite
la evaluación de todas las fases del proceso (no solo la centrada en el proceso de
enseñanza-aprendizaje en sí), evaluando desde la preparación inicial de la plataforma
o los recursos hasta la evaluación final del modelo; ofreciendo así datos mucho más
amplios y específicos de cada fase y del proceso completo.
La principal limitación de esta investigación es la fase en la que el estudio se
encuentra aún (derivando de la misma su falta de validez de constructo); lo cual abre
ya una nueva vía en la investigación para continuar el estudio con una validación
empírica del modelo y su aplicación en un programa e-Learning de un campus en
línea de educación superior. Este estudio piloto, el cual se encuentra ya planteado
de cara a la evaluación de la docencia en un curso blended-Learning en el año
académico 2021/2022, permitirá comprobar la fiabilidad y la validez del modelo,
ofreciendo profundos resultados sobre los indicadores de calidad de la institución,
de la evaluación y del programa en sí, y haciendo de la calidad uno de los factores
más relevantes en las enseñanzas e-Learning en Educación Superior.
Otra limitación adicional ha sido la dificultad para realizar el proceso de
validación de contenido teniendo en cuenta las circunstancias provocadas por la
pandemia durante las fechas en las que se llevó a cabo y que dificultaron la obtención
de jueces dispuestos a revisar la propuesta debido a la saturación de trabajo y las

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 225-244.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 239
 A. Ortiz-López; S. Olmos-Migueláñez; J. C. Sánchez-Prieto
Calidad en e-Learning: Identificación de sus dimensiones, propuesta y validación de un modelo para su evaluación...

dificultades de índole personal. Esto ha provocado que el número de jueces fuera

más reducido del deseable, aunque se supera el número mínimo establecido en la
literatura (Hernández-Nieto, 2002; Pedrosa et al., 2014) y el grado de satisfacción
de los jueces con el nuevo modelo es alta, pudiendo continuar con su estudio y
aplicación para una validación en la práctica educativa.

NOTAS

1. SQ: System Quality, CX: Context / External Variables, CQ: Content Quality,
At: Attractiveness, SP: Student Profile, TP: Teacher Profile, EV: Evaluation,
AS: Administrative Support, EN: Enrollment, IP: Institutional Policies, ES:
Educative Strategies, MR: Material Resources.

REFERENCIAS

Aguas-Díaz, C. J., Flores-Flores, J. L., 78(4), 28853–28875. [Link]

Sarmiento-Sarmiento, I. K., y Aguirre- org/10.1007/s11042-019-7351-8
Robalino, D. F. (2020). Aprendizaje móvil Colás, M. P., Jiménez, R., y Rodríguez,
(m-learning) como método educativo en M. (2005). Evaluación de e-learning.
Educación Superior. Revista Arbitrada Indicadores de calidad desde el enfoque
Interdisciplinaria Koinonía, 5(Extra sociocultural. Education in the knowledge
1), 867-879. [Link] society (EKS), 6(2), 3.
r.k.v5i1.887 Córdova, L. C., Solis, M. E., y Solis, L.
Almenara, J. (2006). La calidad educativa A. (2017). Aplicación de los sistemas
en el e-Learning: Sus bases pedagógicas. e-Learning en las Universidades
Educación Médica, 9, 9-14. [Link] [Tesis Doctoral, Universidad Estatal de
org/10.4321/S1575-18132006000700003 Milagro]. [Link]
Cerdas-Montano, V., Mora-Espinoza, Á., ec//handle/123456789/3605
y Salas-Soto, S. E. (2020). Educación Fernández, B., Alonso, E., Rebolloso, E., y
remota en el contexto universitario: Pozo, C. (1999). Evaluación de la calidad
Necesidad del trabajo colaborativo para la en la educación superior. Papeles del
mediación pedagógica docente en tiempos psicólogo, 74, 1886-1415.
de COVID. Revista Electrónica Educare, Galicia, L. A., Balderrama, J. A., y Edel, R.
24(Extra 0), 3. [Link] (2017). Validez de contenido por juicio de
ree.24-S.9 expertos: Propuesta de una herramienta
Chiang, M. T., Díaz, C., Rivas, A., y Martínez, P. virtual. Apertura: Revista de Innovación
(2013). Validación del cuestionario estilos Educativa, 9(2), 42-53. [Link]
de enseñanza (CEE): Un instrumento para org/10.32870/Ap.v9n2.993
el docente de Educación Superior. Revista García, P. A., y González, M. S. (2015).
de estilos de aprendizaje, 6(12), 30-45. Validación de escala para evaluación de
Choi, C.-R., y Jeong, H.-Y. (2019). Quality la calidad docente en entornos virtuales.
evaluation for multimedia contents Opción: Revista de Ciencias Humanas y
of e-learning systems using the ANP Sociales, 31(5), 394-406.
approach on high speed network. García-Llorente, H. J., Martínez-Abad, F., y
Multimedia Tools and Applications, Rodríguez-Conde, M. J. (2019). Validación

240 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 225-244.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 A. Ortiz-López; S. Olmos-Migueláñez; J. C. Sánchez-Prieto
Calidad en e-Learning: Identificación de sus dimensiones, propuesta y validación de un modelo para su evaluación...

de un instrumento de evaluación Learning, 19(2), 126-154. [Link]

de competencias informacionales org/10.19173/irrodl.v19i2.3443
autopercibidas en educación secundaria Marciniak, R., y Gairín-Sallán, J. (2017). Un
obligatoria. Anales de Documentación, modelo para la autoevaluación de la calidad
22(1), Article 1. [Link] de programas de educación universitaria
analesdoc.22.1.305641 virtual. Revista de Educación a Distancia
García-Peñalvo, F. J. (2005). Estado actual (RED), 54. [Link]
de los sistemas e-learning. Education in red/54/2
the knowledge society (EKS), 6(2). Margalina, V., De Pablos-Heredero, C., y
Hansson, H., Westman, P., Åström, E., y Montes, J. L. (2017). Achieving quality
Johansson, M. (2009). Un modelo para la in e-Learning through relational
evaluación de la calidad e-learning. Revista coordination. Studies in Higher
de Investigaciones UNAD, 8(1), 11-29. Education, 42(9), 1655-1670. [Link]
[Link] org/10.1080/03075079.2015.1113953
Hernández-Nieto, R. A. (2002). Martínez, N. (2015). Aprendizaje y evaluación
Contributions to Statistical Analysis. con TIC: Un estado del arte. Revista
Mérida, Venezuela: Universidad de Los Científica Universidad Don Bosco, 12.
Andes. Martínez-Argüelles, M., y Batalla-Busquets,
Kurilovas, E., y Vinogradova, I. (2016). J.-M. (2016). Perceived Service Quality
Improved fuzzy AHP methodology for and Student Loyalty in an Online
evaluating quality of distance learning University. The International Review
courses. The International journal of of Research in Open and Distributed
engineering education, 32(4), 1618-1624. Learning, 17(4), 264-276. [Link]
La Rotta, D., Usuga, O. C., y Clavijo, V. (2019). org/10.19173/irrodl.v17i4.2518
Perceived service quality factors in online Martínez-Caro, E., Cegarra-Navarro, J. G., y
higher education. Learning Enviroments Cepeda-Carrión, G. (2015). An application
Research, 23, 251-267. [Link] of the performance-evaluation model for
org/10.1007/s10984-019-09299-6 e-learning quality in higher education.
Mahdiuon, R., Masoumi, D., y Farasatkhah, Total Quality Management & Business
M. (2017). Quality improvement in Excellence, 26(5-6), 632-647. [Link]
virtual higher education: A grounded org/10.1080/14783363.2013.867607
theory approach. Turkish Online Journal Mejía, J. F., y López, D. (2016). Modelo de
of Distance Education, 18(1), 111-131. Calidad de E-learning para Instituciones
[Link] de Educación Superior en Colombia.
Marciniak, R. (2015). Methodological Formación Universitaria, 9(2), 59-
proposal for the application of 72. [Link]
international benchmarking in order 50062016000200007
to assess the quality of virtual higher Mixnahuatl, A., Santamaría, J., Urbina,
education. RUSC. Universities and A., Calleja, J. de la, y Auxilio, M. (2013).
Knowledge Society Journal, 12(3), 46-60. Diseño del curso análisis de sistemas
[Link] aplicando el modelo de calidad para
Marciniak, R. (2018). Quality Assurance for e-learning. Educación Handbook T-I:
Online Higher Education Programmes: Congreso Interdisciplinario de Cuerpos
Design and Validation of an Integrative Académicos, 143-152.
Assessment Model Applicable to Spanish Moreno-Correa, S. M. (2020). La innovación
Universities. The International Review educativa en los tiempos del Coronavirus.
of Research in Open and Distributed Salutem Scientia Spiritus, 6(1), 14-26.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 225-244.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 241
 A. Ortiz-López; S. Olmos-Migueláñez; J. C. Sánchez-Prieto
Calidad en e-Learning: Identificación de sus dimensiones, propuesta y validación de un modelo para su evaluación...

Ortiz-López, A., Olmos-Migueláñez, Rubio, M. J. (2003). Enfoques y modelos

S., y Sánchez-Prieto, J. C. (2020). de evaluación del e-learning. RELIEVE
e-Learning quality assessment in - Revista Electrónica de Investigación
higher education: A mapping study. y Evaluación Educativa, 9(2), Article 2.
Eighth International Conference on [Link]
Technological Ecosystems for Enhancing Santelices-Etchegaray, M. V., y Valenzuela-
Multiculturality, 833-838. [Link] Rojas, F. (2015). Importancia de las
org/10.1145/3434780.3436602 características del profesor y de la escuela
Park, Y., y Lim, K. (2015). Effects of en la calidad docente: Una aproximación
Environmental and Human Constructs desde la Teoría de Respuesta del Ítem.
on E-learning Effectiveness in Online Estudios pedagógicos (Valdivia), 41(2),
University Settings. Indian Journal of 233-254. [Link]
Science and Technology, 8(1), 103-109. 07052015000200014
[Link] Seoane Pardo, A. M., y García-Peñalvo,
v8iS1/57729 F. (2010). Introducción al eLearning.
Pecori, R., Suraci, V., y Ducange, P. (2019). Universidad de Salamanca.
Efficient computation of key performance Serrano, E. L., Ceballos, S. P., Cordero,
indicators in a distance learning G., y Cisneros-Cohernour, E. (2018).
university. Information Discovery and Marco para evaluar las condiciones
Delivery, 47(2), 96-105. [Link] institucionales de la enseñanza en línea.
org/10.1108/IDD-09-2018-0050 Revista Electrónica de Investigación
Pedrosa, I., Suárez-Álvarez y García-Cueto, Educativa, 20(2), 1-14. [Link]
E. (2014). Evidencias sobre la Validez de org/10.24320/redie.2018.20.2.2072
Contenido: Avances Teóricos y Métodos Tarí, J. J., de Juana, S. A., y Mora, J. (2007).
para su Estimación. Acción Psicológica, Evaluación de la calidad: Importancia de
10(2), 3-20. [Link] la evaluación externa y del seguimiento.
ap.10.2.11820 Avances en Supervisión Educativa, 5,
Pham, L., Limbu, Y. B., Bui, T. K., Nguyen, H. Article 5.
T., y Pham, H. T. (2019). Does e-learning Torres-Barzabal, L., Ortiz, P., y Barcia-
service quality influence e-learning Tirado, D. (2018). Quality Indicators for
student satisfaction and loyalty? Evidence Auditing on-Line Teaching in European
from Vietnam. International Journal Universities. TechTrends, 63(3), 330-
of Educational Technology in Higher 340. [Link]
Education, 16(7), 1-26. [Link] 018-0365-7
org/10.1186/s41239-019-0136-3 Velasteguí, P. (2017). Plataformas virtuales
Prieto-Rodríguez, E., Gore, J., & Holmes, K. y su impacto en la Educación Superior.
(2016). Exploring Quality Teaching in the Explorador Digital, 1(2), 5-21 [Link]
Online Environment Using an Evidence- org/10.33262/exploradordigital.v1i2.318
Based Approach. Australian Journal Verdezoto-Rodríguez, R. H., y Chávez-
of Teacher Education, 41(8), 22-39. Vaca, V. A. (2018). Importancia de las
[Link] herramientas y entornos de aprendizaje
Raspopovic, M., y Jankulovic, A. (2017). dentro de la plataforma e-learning en
Performance measurement of e-learning las universidades del Ecuador. Edutec.
using student satisfaction analysis. Revista Electrónica de Tecnología
Information Systems Frontiers, 19(4), Educativa, 65, 68-92. [Link]
869-880. [Link] org/10.21556/edutec.2018.65.1067
s10796-016-9636-z

242 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 225-244.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 A. Ortiz-López; S. Olmos-Migueláñez; J. C. Sánchez-Prieto
Calidad en e-Learning: Identificación de sus dimensiones, propuesta y validación de un modelo para su evaluación...

Waheed, M., y Kaur, K. (2017). Students’ Waheed, M., Kaur, K., y Qazi, A. (2016).
perceptual quality standards for judging Students’ Perspective on Knowledge
knowledge quality: Development and Quality in eLearning Context: A Qualitative
validation of a knowledge quality Assessment. Internet Research, 26(1),
scale. Information Development, 120-145. [Link]
35(2), 319-332. [Link] 08-2014-0199
org/10.1177/0266666917744370

PERFIL ACADÉMICO Y PROFESIONAL DE LOS AUTORES

Alberto Ortiz-López. Graduado en Pedagogía y estudiante del máster

universitario en “Profesor de Educación Secundaria Obligatoria y Bachillerato,
Formación Profesional y Enseñanza de Idiomas” en la modalidad de orientación
educativa en la Universidad de Salamanca. Ha recibido una beca de colaboración
en el Instituto Universitario de Ciencias de la Educación en Salamanca, donde se
encuentra desarrollando una línea de investigación centrada en la evaluación de la
calidad y su implementación en sistemas e-Learning en educación superior. https://
[Link]/0000-0003-3164-5680
E-mail: aortiz@[Link]

Susana Olmos-Migueláñez. Titular de Universidad del Área de Métodos

de Investigación y Diagnóstico en Educación, de la Universidad de Salamanca.
Directora del Instituto Universitario de Ciencias de la Educación. Miembro del Grupo
de Investigación en Evaluación Educativa y Orientación, dentro del Guaro GRIAL,
InterAcción y eLearning. Docente universitaria de Grado y Máster en Metodología
de Evaluación de Programas, Técnicas e instrumentos de evaluación. Su línea de
investigación se centra en evaluación educativa, metodología de investigación y
de evaluación, y en evaluación en contexto de formación virtual. [Link]
org/0000-0002-0816-4179
E-mail: solmos@[Link]

José Carlos Sánchez-Prieto. Licenciado en Pedagogía y máster en TIC

aplicadas a la educación por la Universidad de Salamanca (España), donde también
presentó su tesis doctoral sobre la adopción de las tecnologías móviles entre el
profesorado dentro del Programa de Formación en la Sociedad del Conocimiento.
Actualmente es profesor asociado en la Facultad de Educación de dicha universidad.
Su área de investigación es la evaluación de las actitudes de los profesores y
estudiantes en activo y en formación. Es autor de varios artículos sobre el tema
publicados en prestigiosas revistas internacionales. [Link]
8917-9814
E-mail: [Link]@[Link]

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 225-244.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 243
 A. Ortiz-López; S. Olmos-Migueláñez; J. C. Sánchez-Prieto
Calidad en e-Learning: Identificación de sus dimensiones, propuesta y validación de un modelo para su evaluación...

DIRECCIÓN DE LOS AUTORES

Facultad de Educación
Paseo de Canalejas, 169
Salamanca (España)

Fecha de recepción del artículo: 11/12/2020

Fecha de aceptación del artículo: 12/02/2021
Fecha de aprobación para maquetación: 18/02/2021

244 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 225-244.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
I.S.S.N.: 1138-2783

Auditorías virtuales en el Programa de

Sellos Internacionales de Calidad (SIC) de
ANECA en tiempos de pandemia
(Virtual Audits in ANECA’s International Quality
Labels Program (SIC) in Times of Pandemic)

Ana Isabel Bonilla-Calero

María Ángeles Serrano-García
Agencia Nacional de Evaluación de la Calidad y de la Acreditación de la
Educación Superior, ANECA (España)

DOI: [Link]

Cómo referenciar este artículo:

Bonilla-Calero, A. I., y Serrano-García, M. A. (2021). Auditorías virtuales en el
Programa de Sellos Internacionales de Calidad (SIC) de ANECA en tiempos de
pandemia. RIED. Revista Iberoamericana de Educación a Distancia, 24(2),
pp. 245-261. [Link]

Resumen

Este trabajo tiene como objetivo reflexionar sobre cómo se abordan las auditorías
virtuales de las acreditaciones internacionales de programas universitarios de ingeniería,
informática y química, gestionadas por la Agencia Nacional de Evaluación de la Calidad y
Acreditación (ANECA), en colaboración con el Instituto de Ingeniería de España (IIE), el
Consejo General de Colegios Profesionales de Ingeniería Informática (CCII), los Colegios
Oficiales de Ingeniería Técnica en Informática (CONCITI) y la Real Sociedad Española de
Química (RSEQ), dentro del Programa de Sellos Internacionales de Calidad (SIC), en las
que se conceden sellos internacionales de ingeniería, informática y química, a aquellos
programas que demuestran el cumplimiento de los criterios de evaluación establecidos
por las agencias europeas European Network for Accreditation of Engineering Education
(ENAEE), European Quality Assurance Network for Informatics Education (EQANIE) y
European Chemistry Thematic Network Association (ECTN), respectivamente, basados en
resultados de aprendizaje seleccionados por académicos/as y profesionales de diferentes
países. Materiales y Métodos: Los datos utilizados en este estudio se han obtenido de las
evaluaciones realizadas por ANECA durante la convocatoria 2020. Resultados y discusión:
55 programas formativos distribuidos en 23 universidades españolas y una mexicana, que
se han evaluado completamente por la modalidad virtual durante la convocatoria 2020,
debido a la pandemia provocada por la COVID-19. Hasta ese momento estas evaluaciones se
desarrollaban por la modalidad presencial.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 245-261.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 245
 A. I. Bonilla-Calero; M. Á. Serrano-García
Auditorías virtuales en el Programa de Sellos Internacionales de Calidad (SIC) de ANECA en tiempos de pandemia

Palabras clave: calidad de la educación; administración educativa; autorización; inspección;

universidad a distancia.

Abstract

The aim of this work is to reflect on how virtual audits of international accreditations
of university programs in Engineering, Informatics and Chemistry managed by the National
Agency for Quality Assessment and Accreditation (ANECA), in collaboration with IIE, CCII,
CONCITI, and RSEQ, are dealt with, within the International Quality Labels Program (SIC),
which awards international labels of Engineering, Informatics and Chemistry to those
programs that show compliance with the evaluation criteria established by the European
agencies ENAEE, EQANIE, and ECTN, respectively, based on learning outcomes selected by
academics and professionals from different countries. Materials and Methods: The data used
in this study have been obtained from the evaluations carried out by ANECA during the 2020
call. Results and discussion: 55 training programs, distributed in 23 Spanish universities and
one Mexican, have been completely evaluated by the virtual modality during the 2020 call,
due to the pandemic caused by COVID-19. Until then, these evaluations were carried out using
the face-to-face mode.

Keywords: quality of education; educational administration accreditation; inspection; open

university.

El Real Decreto 463/2020, de 14 de marzo, por el que se declara el estado de

alarma para la gestión de la situación de crisis sanitaria ocasionada por la COVID-19,
establece la suspensión de la actividad académica presencial en todo el sistema
educativo, adoptándose de manera coordinada acuerdos sobre la adaptación a esta
situación excepcional, mediante medidas urgentes de prevención, contención y
coordinación para hacer frente a la crisis sanitaria provocada por la COVID-19 (Real
Decreto-ley 21/2020).
Una situación en la que se reconoce la importancia que las herramientas
tecnológicas tienen para dar respuesta a los problemas que enfrenta la humanidad
y para el avance y la mejora de la sociedad (Roig-Vila et al., 2021), especialmente
en una situación excepcional en el mundo y en la sociedad en su conjunto debido
a la COVID-19. Hecho que ha provocado que muchas instituciones en las que se
desarrollan evaluaciones, hayan usado las Tecnologías de la Información y las
Comunicaciones y otros medios alternativos para sustituir las auditorías in-situ por
auditorías virtuales durante la crisis sanitaria (AEC, 2020).
No obstante, el uso de herramientas tecnológicas en el ámbito universitario no
da respuesta a todas las necesidades que se han planteado en él en los últimos meses,
ya que, aunque se considera un recurso útil y valioso para el aprendizaje virtual, su
utilización genera ciertas dificultades, sobre todo como consecuencia de la falta de

246 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 245-261.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 A. I. Bonilla-Calero; M. Á. Serrano-García
Auditorías virtuales en el Programa de Sellos Internacionales de Calidad (SIC) de ANECA en tiempos de pandemia

conocimientos, los problemas de conexión y el retardo entre la imagen y el sonido

(Budiana y Yutanto, 2020).
Situaciones que se deben prevenir para contar con una certificación que garantice
confianza y seguridad, cumpliendo con los más altos estándares establecidos por los
organismos nacionales e internacionales de acreditación en general y en particular
en la educación, en la que la evaluación puede y debe proporcionar un aprendizaje
estratégico del estudiantado (Ibarra-Sáiz et al., 2020) y donde la autonomía propia
de las universidades en cuestiones como la definición de los planes de estudio, hace
que sigan existiendo aspectos y/o factores que deben ser analizados y mejorados
(Colombo y Esteban, 2020).
ANECA al igual que el resto del sistema universitario español, debido a la crisis
sanitaria, se vio obligada a realizar las 55 evaluaciones de la convocatoria 2020 del
Programa de Sellos Internacionales de Calidad (ANECA, 2020a, 2020b; Bonilla-
Calero, 2019; Bonilla-Calero et al., 2019) por la modalidad virtual, al identificar que
había una probabilidad muy baja de llevar a cabo su desarrollo presencialmente,
como habitualmente se realizaban, porque en el momento de su celebración, entre
julio y octubre de 2020, no estaban permitidas las visitas presenciales o porque en el
caso de estarlo, desde la ANECA no se tuviera garantía de contar con las medidas de
seguridad necesarias para proteger la salud de los/as evaluadores/as y representantes
de las universidades durante las evaluaciones, en las fechas que estaban previstas su
celebración, fijadas desde principios del 2020.
El principal objetivo de este estudio es compartir la primera experiencia de
ANECA en auditorias virtuales a programas de ingeniería, informática y química para
la obtención de un reconocimiento internacional, que se desglosa en los siguientes
aspectos:

1. Presentar los resultados obtenidos en estas primeras auditorias virtuales

realizadas entre julio y octubre de 2020.
2. Identificar buenas prácticas a seguir en evaluaciones por la modalidad a distancia.
3. Mostrar las debilidades que se han identificado durante estas auditorías no
presenciales.

METODOLOGÍA

Contexto y participantes

Los datos utilizados en este estudio se obtuvieron a partir de las 55 evaluaciones

realizadas por la modalidad virtual gestionados por la Agencia Nacional de
Evaluación de la Calidad y Acreditación (ANECA), dentro del Programa de Sellos
Internacionales de Calidad de ANECA durante julio y octubre de 2020. En estas
evaluaciones han participado 24 universidades y 160 evaluadores/as.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 245-261.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 247
 A. I. Bonilla-Calero; M. Á. Serrano-García
Auditorías virtuales en el Programa de Sellos Internacionales de Calidad (SIC) de ANECA en tiempos de pandemia

Instrumento

• Encuesta para identificar posibles incidencias a producirse en una visita virtual

y buenas prácticas.
• Encuesta de satisfacción a cumplimentar después de las visitas por los/as
evaluadores/as y universidades.

Procedimiento

Antes de virtualizar las auditorías, ANECA envió a las asociaciones internacionales

propietarias de los sellos (ENAEE, EQANIE y ECTN), de las que tiene la autorización
de evaluación, una propuesta de evaluación completamente virtual, avalada por un
plan de contingencia redactado a partir de los resultados obtenidos en la encuesta
enviada a los/as 160 evaluadores/as, que estaban colaborando en el Programa
SIC de ANECA en el momento de cumplimentar esta encuesta, para conocer su
opinión sobre la posibilidad de una visita virtual en general y en particular, sobre
las posibles incidencias que podrían producirse, así como las soluciones a éstas y
recomendaciones a tener en cuenta en su desarrollo.
Las tres asociaciones de los sellos aprobaron la propuesta de ANECA sobre la
realización de evaluaciones completamente virtuales y en ese momento, se generó
en ANECA un decálogo para evaluadores/as y universidades, con el objetivo
de facilitarles el desarrollo de las visitas bajo la modalidad virtual, en el que se
incluían enlaces para hacer pruebas de conexión y otros aspectos a tener en cuenta
previamente y durante la visita, tras varias reuniones de reflexión sobre ellos.
Asimismo, se celebró una jornada de formación específica sobre visitas virtuales
para los/as 160 evaluadores/as y se estableció un calendario adicional al de las
reuniones informativo-técnicas, ya fijado, con las universidades que participaban en
la convocatoria 2020, en las que se les ofrecía un canal complementario al correo y
teléfono, para resolver todas las dudas relativas a esta nueva modalidad de visitas.
Al cierre de todas las visitas virtuales se realizó una meta evaluación con la
participación de los/as agentes implicados/as en los procesos de evaluación, a las
que estaban asociadas estas visitas, para identificar fortalezas y oportunidades de
mejora a implantar respecto a esta nueva modalidad en las próximas convocatorias
de evaluación.

RESULTADOS

Análisis cuantitativo

En esta sección se presentan los resultados agrupados por el momento que se

obtuvieron: antes de las visitas o después de las visitas.

248 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 245-261.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 A. I. Bonilla-Calero; M. Á. Serrano-García
Auditorías virtuales en el Programa de Sellos Internacionales de Calidad (SIC) de ANECA en tiempos de pandemia

Durante la convocatoria 2020 se han llevado a cabo 3 encuestas a los agentes

implicados en este proceso, una antes de la celebración de las visitas y dos después.
En cuanto a la primera, se realizó a 160 evaluadores/as y fue cumplimentada por
el 38% (60 evaluadores/as) respecto al total. En dicha encuesta indicaron posibles
incidencias a prevenir, soluciones a éstas y buenas prácticas.
Respecto a las encuestas realizadas después de las visitas, solo 4 universidades
de 23 contestaron a la encuesta y 35 de 160 evaluadores/as. La baja participación
de las encuestas se debe a que tanto a las universidades como a los evaluadores/as
se les indicaba que, si en el plazo de una semana de celebrarse la visita no enviaban
la encuesta cumplimentada, se debía a que la valoración por su parte era positiva,
lo que fue confirmado después de llamar a universidades y evaluadores/as que no
habían enviado la encuesta. Así pues, se recibieron solo las encuestas en las que se
recogían posibles oportunidades de mejora a desarrollar en futuras convocatorias.

Análisis cualitativo

1. Antes de las vistas

1.1. Encuesta cumplimentada por los/as evaluadores/as sobre la virtualización de

las visitas

Los resultados obtenidos en las encuestas cumplimentadas por los/as

evaluadores/as con experiencia en el uso de este tipo de modalidad para la enseñanza,
reuniones, auditorías, etc., se muestran, a continuación, agrupados por los temas
sobre los que se les preguntó:

1.1.1. Posibles incidencias a tener en cuenta durante las visitas virtuales:

• Problemas de conexión: bien del/a evaluador/a o bien de las personas que

deberían estar presentes en las entrevistas debido a la deficiencia o falta de
conectividad de red en alguna instalación.

▪ Los/as evaluados/as o evaluadores/as podrían no tener los recursos técnicos

necesarios para poder asistir, con la calidad necesaria en vídeo y audio, a
las reuniones virtuales. Por ejemplo, en algunos casos no sería solucionable
dado que el despliegue de la fibra óptica no es uniforme en un mismo país.
En algunos municipios a menos de 10 km de una capital de provincia la
conexión podría ser por cable telefónico.
▪ Durante el estado de alarma en algunos lugares la conexión a internet ha
sufrido un deterioro en calidad (debido a una disminución de la velocidad o

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 245-261.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 249
 A. I. Bonilla-Calero; M. Á. Serrano-García
Auditorías virtuales en el Programa de Sellos Internacionales de Calidad (SIC) de ANECA en tiempos de pandemia

ancho de banda), lo que podría generar problemas en la conexión, con cortes

intermitentes en imagen y sonido.
▪ Algunos/as entrevistados/as o entrevistadores/as podrían no disponer
del espacio físico adecuado para atender una reunión virtual sin tener
interferencias (ruidos imprevistos, llamadas telefónicas, timbres, atención a
cuestiones familiares o domésticas, etc.).
▪ Dificultades en el almacenamiento de la ingente cantidad de datos
procedente de las grabaciones.

• Asistencia o irrupción de personas no invitadas a las entrevistas:

▪ Algunos ejemplos:

– que algún miembro del equipo responsable del programa formativo

evaluado estuviera presente en las entrevistas con estudiantes u otro
colectivo en las que no se le hubiera invitado. Lo que podría coaccionarlos
a la hora de manifestar sus opiniones.
– Irrupción de personas que conviven con el/a entrevistado/a o
entrevistador/a.

• Incidencia asociada a la grabación de datos de carácter personal o confidencial

en la evaluación:

▪ Algunos/as entrevistados/as podrían no desear aparecer en las grabaciones.

▪ Grabación y custodia de la misma en secreto por parte de los/as
entrevistados/as de las deliberaciones del panel de expertos/as.

• Falta de visualización de todo el lenguaje no verbal de los/as entrevistados/as,

que podría aportar información complementaria a la obtenida en las entrevistas.
Muchas de las cuestiones podrían quedar resueltas o mejor definidas por las
reacciones de las personas en las reuniones de grupo (estudiantes, profesionales,
docentes y órganos de gobierno de la universidad).
• No validación real de las dependencias físicas: podría mermar la posibilidad de
analizar todas las características de instalaciones en una visita virtual, dado
que la visita no fuera dirigida por los miembros del panel de expertos/as, sino
por la propia universidad.

A continuación, se recopilan las soluciones y/o precauciones a tomar, previamente

y durante la visita, identificadas por los/as evaluadores/as de Programa SIC. Aunque
se ha realizado una revisión bibliográfica (AEC, 2020; AEER, 2020; CTI, 2020;
ENAC, 2020 y QUACING, 2020) sobre auditorías celebradas virtualmente hasta el

250 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 245-261.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 A. I. Bonilla-Calero; M. Á. Serrano-García
Auditorías virtuales en el Programa de Sellos Internacionales de Calidad (SIC) de ANECA en tiempos de pandemia

momento, dada la complejidad de los procesos implicados en los proyectos SIC, ha

sido necesario aplicar protocolos más ambiciosos y garantistas que los expuestos en
esta literatura consultada.

1.1.2. Recomendaciones y posibles soluciones a los inconvenientes detectados en el

primer ítem:

[Link]. Respecto a problemas de conexión:

• Informar a los/as entrevistados/as y entrevistadores/as de los requisitos

técnicos necesarios para seguir con normalidad las sesiones, previamente a la
visita virtual.
• Validar las aplicaciones de VC de ANECA para su utilización con terminales
móviles.
• Definir un estándar de calidad de vídeo, compatible con las aplicaciones de VC
de ANECA, suficiente para permitir la revisión sin sobrecargar la red o el sistema.
• Ubicación de los/as entrevistados/as y entrevistadores/as en una zona donde
llegue buena señal del router WI-FI o utilizar la conexión por cable.
• Requerimiento y comprobación con todos los miembros de que cuentan con una
conexión rápida y estable a internet.
• Confirmar, con antelación a la realización de la primera prueba de conexión
y después de haberla realizado, la disponibilidad técnica y del espacio
adecuado para realizar la labor evaluadora con garantías de concentración y sin
interrupciones para los/as evaluadores/as y evaluados/as.
• Comprobar que todos los asistentes dispondrán de un equipo de respaldo por
parte de los miembros del panel de expertos/as y de la universidad, por si sus
ordenadores fallaran en la visita (PC y Tablet/móvil, etc.), si fuera la herramienta
elegida para realizar la evaluación.
• En caso de necesidad los/as entrevistadores/as podrían hacer la conexión
por teléfono, aunque podrían buscar lugares públicos con medidas sanitarias
adecuadas y con conectividad segura, si la de su domicilio o despacho no fuera
la adecuada.
• Protocolo claro de realización de entrevistas: Información sobre la evaluación y
dinámica de las entrevistas previamente a la visita, como, por ejemplo,

▪ para los/as entrevistados/as: apagar micrófonos directamente cuando se

inicie la sesión y mientras no se hable; alzar la mano para pedir la palabra;
mantener la cámara encendida de los/as entrevistados/as;
▪ para los entrevistadores/as: indicar al final de cada entrevista que deben
salir todos los/as entrevistados/as y que, si se necesitara alguna aclaración
después, se les llamaría por teléfono al final de la jornada; comunicar al/a
portavoz de la universidad si una sesión fuera con retraso para que avisara

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 245-261.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 251
 A. I. Bonilla-Calero; M. Á. Serrano-García
Auditorías virtuales en el Programa de Sellos Internacionales de Calidad (SIC) de ANECA en tiempos de pandemia

a los/as entrevistados/as que no se conectaran hasta que se les indicara;

silenciar los micrófonos de los participantes, que no estuvieran contestando
a las preguntas de los miembros del panel de expertos/as, y controlar el
tiempo de la reunión para que no fuera superior a 30 minutos, si se hubiera
iniciado en tiempo y con una conexión adecuada.

• Pruebas previas, a realizar un mes y una semana antes de la visita, para

comprobar la conectividad y correcto funcionamiento de todos los equipos
(micrófonos, altavoces, cámaras, etc.) que se fueran a conectar. La comunicación
debería establecerse a priori y asegurar la estabilidad y fiabilidad del enlace
con la universidad. Realización de una prueba de 5-15 minutos con personal
informático de la universidad, de ANECA y evaluadores/as y, al menos, un
representante de cada colectivo, siendo la segunda prueba opcional, si la primera
funcionara.
• Apoyo técnico en las reuniones por parte de la universidad y desde ANECA, para
la preparación y atención a toda la reunión que asegurara la fluidez de ésta.
• Disponer de los teléfonos de contacto de todas las personas asistentes a la sesión,
por si la única forma de contactar con todos fuera telefónicamente.
• Identificación de las otras herramientas que se podrían utilizar, si la que se
estableciera para realizar las visitas virtuales no funcionara para el intercambio
de información entre entrevistadores/as y entrevistados/as y para tener un canal
alternativo de comunicación para entrevistadores/as durante las entrevistas
(internas).
• Entregar a todos los/as asistentes un manual de uso de la plataforma utilizada
para la comunicación (en el que se indicara la posibilidad de hacer la conexión
por teléfono), así como de las herramientas que se podrían utilizar de forma
complementaria, como, por ejemplo, la posibilidad de establecer un chat privado
entre los/as entrevistadores/as.
• Agenda flexible: en caso de fallo técnico o de comunicaciones, se debería plantear
posponer alguna de las reuniones a otra hora, intentando que fuera en el mismo
día, sin alterar los esquemas horarios a fin de mantener la rutina de evaluadores/
as y evaluados/as. La hora de inicio ya estaría fijada en la agenda previamente
a la visita. Siempre que fuera posible, se iniciarían entre las 8 y 9h de cada día;
adelantando el inicio establecido en las visitas virtuales, por si al final de la
jornada se tuviera que repetir alguna sesión.
• Dejar mayor margen entre las sesiones (de entre 15 a 30 minutos). El tiempo
que se eligiera, iría indicado en la agenda previamente a la visita.
• Al menos 3 de los 5 miembros del panel de expertos/as deberían estar
conectados/as en cada sesión para que se pueda dar por válida la entrevista.
Esto permitirá cierta flexibilidad a la hora de posibles errores de conexión en
los equipos individuales del panel de visita y permitirá contar con más tiempo
de descanso para los/as entrevistadores/as, incluso la posibilidad de realizar
entrevistas simultáneamente.

252 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 245-261.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 A. I. Bonilla-Calero; M. Á. Serrano-García
Auditorías virtuales en el Programa de Sellos Internacionales de Calidad (SIC) de ANECA en tiempos de pandemia

• No más de 10 personas por entrevista.

• Indicar al inicio de cada reunión que nadie más que los miembros del grupo de
interés que serán entrevistados/as y los/as elegidos/as como entrevistadores/as
deberían estar presentes en las entrevistas.

1.1.3. Recomendaciones y posibles soluciones a los inconvenientes detectados en el

segundo ítem:

[Link]. Respecto a problemas de datos de carácter personal o confidencial en la

evaluación:

• Garantizar que las audiencias con los diferentes colectivos serán a puerta
cerrada, lo que se advertirá al inicio de cada reunión.
• Identificar las personas que asistirán a las reuniones. ANECA establecerá con
antelación un protocolo de identificación.
• Comprobar que previamente a las visitas, todas las personas implicadas se
habrían leído el procedimiento de la visita online, en el que se indicaría que
ningún/a de los/as entrevistados/as podrá grabar las entrevistas.
• Al inicio de la entrevista se indicará que:

▪ El entrevistado tiene que procurar limitar el campo de captación con la

cámara a su imagen y al mínimo entorno posible (referente a estancia
y a terceras personas). La universidad y ANECA quedarán exentas de
responsabilidad en caso de no seguirse estas recomendaciones.
▪ El entrevistado durante la prueba no podrá hablar con otras personas,
ni abandonar el escritorio (salir del plano de la cámara) o cualquier
comportamiento que pueda interpretarse que rompa las condiciones de una
auditoria virtual.

• Revisar y verificar las relaciones jurídicas con empresas que provean servicios
relacionados con la evaluación, lo que en término de protección de datos se
conoce como encargados del tratamiento. Sin perjuicio de los amplios supuestos
legales contemplados en la Ley Orgánica de Protección de Datos (LOPDGDD),
aconsejándose revisar y/o actualizar los contratos de encargado.
• Requerir información a los/as entrevistados/as que presenten riesgos en
la afectación a su vida privada en el proceso de evaluación en relación con
situaciones de diversidad funcional, vulnerabilidad, violencia de género y
cualesquiera otra circunstancia, que puedan implicar algún tipo de limitación
en la adaptación de las auditorías a la modalidad virtual o se detectara por las
autoridades competentes, así como garantizar el ejercicio de los derechos de las
personas implicadas en estos procedimientos, y, en particular, el derecho de
oposición al tratamiento de sus datos.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 245-261.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 253
 A. I. Bonilla-Calero; M. Á. Serrano-García
Auditorías virtuales en el Programa de Sellos Internacionales de Calidad (SIC) de ANECA en tiempos de pandemia

• Aplicación estricta del principio de limitación de finalidad del tratamiento,

circunscribiendo su uso a los fines propios de la evaluación.
• Prohibición de comunicar los datos personales tratados a terceros que no
estuvieran implicados en el proceso de evaluación.
• Aseguramiento de encriptación de la comunicación y exigencia de uso de
contraseñas seguras con la comprobación en todas las posibles herramientas a
utilizar.

[Link]. Respecto a la falta de visualización del lenguaje no verbal de los/as

entrevistados/as:

• Informar que el/a entrevistado/a durante la entrevista tendrá que tener

encendida la cámara.
• Visualizar en un formato en el que se vieran todas las cámaras al mismo tiempo.
Si no se pudieran tener todas las cámaras encendidas simultáneamente, cada
entrevistado/a la encenderá durante cada una de sus intervenciones.

1.2. Plan de trabajo de visitas virtuales

Fruto de este análisis se estableció un plan de trabajo que atendió las siguientes
acciones:

• Fijar con antelación los días de las visitas para poder hacer pruebas de conexión
con antelación.
• Recopilar los teléfonos de todas las personas implicadas en las visitas por
el/a secretario/a del panel de expertos/as, especialmente, de la persona de la
universidad identificada como portavoz.
• Concretar en la agenda de visita los nombres de entrevistados/as en cada sesión
y quién/es serían/n la/s persona/s del panel de experto/as encargada/as del
control de la conexión.
• Enviar a ANECA un archivo con el número de panel de expertos/as, fecha de la
visita, personas implicadas en cada sesión (nombres y teléfonos).
• Facilitar un manual sobre la plataforma utilizada para la conexión durante la
visita virtual a todas las personas implicadas en las visitas virtuales.
• Acordar si las sesiones virtuales serían grabadas, lo que al final se desestimó
por haber más argumentos en contra que a favor, no considerándose grabar las
sesiones una acción fundamental para el desarrollo satisfactorio de las visitas.
• Elaborar un decálogo que deberían leer todas las personas implicadas a las
visitas antes de su realización.

254 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 245-261.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 A. I. Bonilla-Calero; M. Á. Serrano-García
Auditorías virtuales en el Programa de Sellos Internacionales de Calidad (SIC) de ANECA en tiempos de pandemia

1.3. Decálogo

En el decálogo se incluyeron los siguientes ítems a los que cada presidente/a o

el/la secretario (a decidir en cada panel de expertos/as), tenía que hacer referencia
al inicio de cada sesión:

• El motivo de la evaluación.
• El compromiso previo de todos los/as asistentes a realizar la visita en las
condiciones exigidas en una auditoria virtual (conexión, espacio, protección de
datos, etc.) para que se realizara de forma satisfactoria y que todos/as fueran
conocedores/as de las alternativas a utilizar, si surgiera alguna incidencia no
identificada durante las pruebas de conexión. Se tendrían que haber leído el
decálogo y manual de plataforma de conexión previamente a la visita.
• El protocolo de entrevista a seguir durante la visita:

▪ Siempre habría al menos una persona que preguntará, otra que tomará notas
de las respuestas y otra que controlará a los/as asistentes y mediará en la
resolución de incidencias.
▪ Al inicio de cada sesión se identificará a la persona de los/as entrevistadores/
as que tendrá el rol de organizador/a y será la encargada de realizar las
siguientes acciones (acordado previamente por el panel de expertos/as):

– Comprobar que estarán todos los/as convocados/as a cada reunión o en

su caso, un número y perfil adecuado para cumplir el objetivo de cada
sesión. Si algún/a entrevistado/a no estuviera en el día y hora fijado en
la agenda, el/a portavoz de la universidad contactaría y comunicaría
el protocolo de la reunión a los/as entrevistados/a que se unirían con
retraso.
– Controlar cuando entraría cada nuevo/a entrevistado/a a la reunión y
aviso de cada nueva incorporación a los/a entrevistadores/a.
– Silenciar los micrófonos de las personas que no estuvieran interviniendo,
si lo considerara necesario.
– Controlar el tiempo de la sesión, no más de 15 minutos (Equipo Directivo),
no más de 30 minutos (en el resto de colectivos) desde el momento que
se hubiera realizado la conexión de forma satisfactoria.
– Agradecer al final de cada sesión la asistencia a los/as entrevistado/as,
e informar que, si el panel de expertos/as necesitara alguna aclaración
posterior, se les llamaría por teléfono.
– Comunicar que deberían dejar la conexión en ese momento para poder
facilitar el paso a los/as siguientes entrevistados/as. Si alguno/a no
respondiera a este abandono, se le pasaría a otra sala alternativa para no
retrasar el transcurso de la visita según lo previsto.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 245-261.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 255
 A. I. Bonilla-Calero; M. Á. Serrano-García
Auditorías virtuales en el Programa de Sellos Internacionales de Calidad (SIC) de ANECA en tiempos de pandemia

– Tomar nota de las fortalezas e incidencias identificadas durante la visita.

▪ Tener el micrófono apagado si no se hubiera hecho al entrar a la sesión. Solo

se abrirá cuando se intervenga.
▪ Pedir la palabra cuando se quiera hablar por el chat, si se observa una alta
participación por parte de los/as entrevistados/as.
▪ Cámara encendida cuando se intervenga por parte del/a entrevistado/a.
▪ Si alguna sesión fuera con retraso, se comunicará al/a portavoz de la
universidad para que avise a los/as entrevistados/as que no se conecten
hasta que se lo indiquen.
▪ Si alguien perdiera la conexión, se avisaría por chat o se llamaría al/a portavoz
de la universidad, que contactaría con la persona encargada del control de la
conexión de la visita.
▪ Si la reunión no se hubiera realizado por una mala conexión de todos/as
los/as asistentes, se celebraría en otro momento en el espacio otorgado
previamente para repetir sesiones dentro de la agenda.

1.4. Formación específica sobre visitas virtuales para los/as evaluadores

Se celebró una formación específica sobre visitas virtuales para las personas
evaluadoras de las 26 auditorías virtuales en la que, además, de compartirles todo
lo expuesto anteriormente en este artículo, se les pidió que al final de cada sesión
tomaran notas tanto de los aspectos negativos y positivos identificados en las visitas,
de tal forma que los negativos, se incluirían en el informe de la visita en el criterio
“Soporte Institucional”, si se hubieran generado entre los/as entrevistados/as. Si
fueran desde los/as entrevistadores/as, se recogerían en el documento de mejoras
para la convocatoria 2021. Si la visita virtual se hubiera desarrollado de forma
satisfactoria, esta valoración positiva se incluiría en el informe de visita como una
fortaleza de la universidad y también, se identificaría este valor añadido a los/as
evaluadores/as en la evaluación de desempeño de su trabajo desarrollado durante
la evaluación.

1.5. Reuniones con universidades

Se estableció un calendario adicional de reuniones con representantes de las

universidades que han participado en la convocatoria 2020, al ya fijado a principios
de año. En estas reuniones se les contó todo lo presentado con anterioridad y se les
recordó que, una vez finalizada la visita, enviaran cumplimentada la encuesta de
satisfacción del proceso a ANECA, como estaban haciendo desde el 2017, ya que este
año iba ser especialmente importante su valoración, sobre todo, lo que afectaba a la
modalidad virtual de las visitas.

256 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 245-261.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 A. I. Bonilla-Calero; M. Á. Serrano-García
Auditorías virtuales en el Programa de Sellos Internacionales de Calidad (SIC) de ANECA en tiempos de pandemia

2. Después de la visita

Se analizaron los resultados obtenidos en las encuestas de satisfacción

cumplimentadas por evaluadores/as y universidades durante la meta-evaluación
de todo el Programa de Sellos Internacionales de Calidad de ANECA. Aunque estos
fueron muy positivos, en su análisis se identificaron las siguientes oportunidades de
mejora, que se han implantado en la convocatoria 2021:

• En la selección de nuevos/as evaluadores/as se tendrá en cuenta que éstos

cuenten con experiencia en plataformas de conexión virtual.
• Solo se utilizará un enlace de conexión para toda la visita, que será el mismo que
el utilizado para las pruebas.
• Al inicio de cada sesión el/a de la universidad avisará a la persona que ejercerá
como organizadora de cada sesión de la asistencia o no de todos/as los/as
convocados/s, quien solicitará a los/as entrevistados/as, que cuando accedan a
la plataforma, se identifiquen con su nombre y apellido/s y solo tengan abiertos
sus micrófonos durante sus intervenciones y que mantengan encendidas sus
cámaras durante toda la sesión.
• Mientras los/as entrevistados/as se estén conectado se proyectará una
presentación que indique el colectivo a entrevistar y la hora de inicio de la sesión
y horario.
• Una vez que todos/as los/as entrevistados/as estén dentro de la sala virtual, se
bloqueará la sesión, pero nunca ésta deberá ser bloqueada por la persona que va
a salir antes de su finalización.
• Crear un grupo de WhatsApp entre el/a secretario/a del panel de expertos/as
y las personas organizadoras de la visita en la universidad y otro entre los/as
evaluadores/as, por si se tuviera que hacer alguna comunicación simultánea
durante alguna sesión.
• Aunque no será necesario un recorrido presencial por las instalaciones, si el
programa formativo hubiera sido sometido a una evaluación previa recientemente
y no hubiera recibido recomendaciones sobre los recursos materiales en el
informe de dicha evaluación, por norma general, el panel de expertos/as podrá
solicitará un video de las instalaciones previamente a la visita de no más de 60
minutos de duración, siendo muy explícitos en lo que deberá contener dicho
vídeo, basándose, en recursos clave para el desarrollo del proceso de enseñanza-
aprendizaje del/os programa/s formativo/as evaluado/s o aquellos que han
obtenido resultados negativos en las encuestas de satisfacción cumplimentadas
por los diferentes colectivos. Además, opcionalmente, podrá reservarse una
sesión para entrevistar al Personal de Administración y Servicios (PAS).
• En las sesiones de inicio y cierre deberán estar al menos el/a presidente/a y
secretario/a y en el resto de sesiones un mínimo de tres miembros del panel de
expertos/as.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 245-261.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 257
 A. I. Bonilla-Calero; M. Á. Serrano-García
Auditorías virtuales en el Programa de Sellos Internacionales de Calidad (SIC) de ANECA en tiempos de pandemia

• La persona que ejercerá como organizador, también, tendrá el rol de organizador

sin la intermediación de un/a informático/a de ANECA.
• Si la universidad eligiera tener ubicados a los/as entrevistados en una de
sus salas, en la prueba de conexión se verificará que desde los lugares que
estarán ubicados/as cada uno de los/as entrevistados/s se escuchan y se ven
perfectamente por los/as entrevistadores/as.

DISCUSIÓN Y CONCLUSIONES

Se han realizado 26 visitas virtuales en el Programa de Sellos Internacionales

de Calidad de ANECA durante los meses de julio y octubre de 2020 de forma
satisfactoria.
Todas las visitas virtuales se han desarrollado en universidades españolas,
excepto, una que se realizó en México, con la dificultad añadida de contar en el panel
de expertos/as con evaluadores/as que se encontraban en países con una diferencia
horaria de siete horas durante el proceso de evaluación, lo que no ha afectado a la
celebración de la visita en tiempo y forma.
Antes de implantarse la virtualización de las auditorías, ANECA envió a las
asociaciones internacionales propietarias de los sellos (ENAEE, EQANIE y ECTN),
de las que tiene la autorización de evaluación, una propuesta de evaluación
completamente virtual, avalada por un plan de contingencia redactado a partir de los
resultados obtenidos en la encuesta enviada a los/as 160 evaluadores/as, que estaban
colaborando en el Programa SIC de ANECA durante el momento de cumplimentar
la encuesta, para conocer su opinión sobre la posibilidad de una visita virtual en
general y en particular, sobre las posibles incidencias que podrían producirse, así
como las soluciones a éstas y recomendaciones a tener en cuenta en su desarrollo.
Previamente a la realización de las visitas virtuales se estableció un plan de
acción que incluía la celebración de una jornada de formación específica sobre
visitas virtuales para dichos evaluadores/as, un calendario adicional al de las
reuniones informativo-técnicas, ya fijado, con las universidades que participaban en
la convocatoria 2020, en las que se les ofrecía un canal complementario al correo y
teléfono, para resolver todas las dudas relativas a esta nueva modalidad de visitas.
Se redactó un decálogo para evaluadores/as y universidades, con el objetivo
de facilitarles el desarrollo de las visitas bajo la modalidad virtual, en el que se
incluían enlaces para hacer pruebas de conexión y otros aspectos a tener en cuenta
previamente y durante la visita, tras varias reuniones de reflexión sobre ellos.
Una vez finalizadas las visitas virtuales se realizó una meta-evaluación con la
participación de los/as agentes implicados/as en las evaluaciones realizadas en la
convocatoria 2020, en la que se identificaron 54 oportunidades de mejora a implantar
en la convocatoria 2021 (iniciada en noviembre de 2020) de las evaluaciones de
los sellos de ingeniería, informática y química gestionados por ANECA hasta este
momento y de la convocatoria piloto del nuevo sello de ANECA de enseñanzas no
presenciales e híbridas.

258 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 245-261.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 A. I. Bonilla-Calero; M. Á. Serrano-García
Auditorías virtuales en el Programa de Sellos Internacionales de Calidad (SIC) de ANECA en tiempos de pandemia

REFERENCIAS

AEC (2020). Criterios y recomendaciones CTI (2020). Audits en distanciel.

para la certificación y la ejecución de ENAC (2020). Consideraciones sobre
las actividades de auditoría durante la el uso de técnicas de evaluación
situación excepcional de crisis sanitaria. en remoto. [Link]
[Link] documents/7020/3c4ffc51-e318-487b-
video/certificacion-y-covid-19/ b3f9-24d2178cca1b?version=2.0
AEER (2020). ADDENDUM to the Ibarra-Sáiz, M. S., Rodríguez-Gómez, G.,
Guidelines for Evaluation of Educational Boud, D., Rotsaert, T., Brown, S., Salinas-
Programs in Engineering and Technology. Salazar, M. L., y Rodríguez-Gómez, H. M.
ANECA (2020a). Criterios de evaluación de (2020). El futuro de la evaluación en la
los Sellos Internacionales de Calidad. educación superior. Revista Electrónica
ANECA (2020b). Listado de títulos de Investigación y Evaluación Educativa,
(programas formativos) universitarios 26(1). [Link]
con Sellos. [Link] RELIEVE/article/view/17323/15606
Programas-de-evaluacion/Evaluacion- QUACING (2020). EUR-ACE Accreditation
de-titulos/SIC/Resultados-de-los-Sellos- of Engineering Study Programmes:
Internacionales-de-Calidad/Titulos-con- Procedures for online evaluation visits.
sello. Real Decreto 463/2020, de 14 de marzo, por
Bonilla-Calero, A. I. (2019). Los el que se declara el estado de alarma para
reconocimientos internacionales de la gestión de la situación de crisis sanitaria
calidad en ingeniería, informática y ocasionada por el COVID-19. Boletín
química por la Agencia Nacional de Oficial del Estado, núm. 67. Madrid, 14 de
Evaluación de la Calidad y Acreditación marzo de 2020. [Link]
(ANECA). ACREDITAS. [Link] [Link]?id=BOE-A-2020-3692
com/images/[Link] Real Decreto-ley 21/2020, de 9 de junio,
Bonilla-Calero A. I., Sastre-Castillo, M. de medidas urgentes de prevención,
A., y Carabantes-Alarcón, D. (2019). La contención y coordinación para hacer
acreditación internacional de química frente a la crisis sanitaria ocasionada
por ANECA-RSEQ. Anales de Química, por el COVID-19. Boletín Oficial del
115(3). [Link] Estado, núm. 163. Madrid, 10 de
net/publication/337831985_La_ junio de 2020, pp. 38723-38752.
acreditacion_internacional_de_ [Link]
quimica_por_ANECA-RSEQ php?id=BOE-A-2020-5895
Budiana, K. M., y Yutanto, H. (2020). Roig-Vila, I., Urrea-Solano, M., y Merma-
Webinar: A strategy to enhance speaking Molina, G. (2021). La comunicación en
skill of non-native English speaker. el aula universitaria en el contexto del
Journal of English Educators Society, COVID-19 a partir de la videoconferencia
5(1), 31-37. [Link] con Google Meet. RIED. Revista
jees.v5i1.354 Iberoamericana de Educación
Colombo Magaña, E., y Esteban-Bara, a Distancia, 24(1). [Link]
F. (2020). The European University: org/10.5944/ried.24.1.27519
between Bologna and the Agenda
2020. Revista Española de Educación
Comparada, 36. [Link]
[Link]/REEC/article/view/26179

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 245-261.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 259
 A. I. Bonilla-Calero; M. Á. Serrano-García
Auditorías virtuales en el Programa de Sellos Internacionales de Calidad (SIC) de ANECA en tiempos de pandemia

PERFIL ACADÉMICO Y PROFESIONAL DE LAS AUTORAS

Ana Isabel Bonilla Calero. Jefa del Programa de Sellos Internacionales de

Calidad (SIC) de la Agencia Nacional de Evaluación de la Calidad y de la Acreditación
de la Educación Superior (ANECA), adscrita al Ministerio de Universidades de
España. Representante de ANECA en el Sello de Edición Académica para colecciones
de editoriales universitarias. Evaluadora en el programa europeo “Erasmus Plus”-
Servicio Español para la Internacionalización (SEPIE). Observadora en el proceso
de acreditación internacional americano de ingeniería Accreditation Board for
Engineering and Technology (ABET). Experiencia investigadora en el Consejo
Superior de Investigaciones Científicas (CSIC) de España, en el Centre for Digital
Library Research de Strathclyde University de Reino Unido y en la Universidad
Veracruzana de México. Experiencia docente presencial y virtual en universidades
de 15 países (España, EEUU, Argentina, Colombia, Costa Rica, Chile, Ecuador,
El Salvador, México, Guatemala, Honduras, Panamá, Perú, República Dominica
y Uruguay). Revisora y autora de publicaciones científicas de alto impacto y de
divulgaciones nacionales e internacionales. Impartición de conferencias en varios
países. Directora de Relaciones Internacionales de la Revista ACREDITAS por la
Excelencia de Iberoamérica. [Link]
E-mail: abonilla@[Link]

María Ángeles Serrano-García. Directora de la División de Enseñanzas

e Instituciones de ANECA. Catedrática de Bioquímica y Biología Molecular en el
Departamento del mismo nombre en la Universidad de Salamanca. Especialista en
proteínas transportadoras de membrana implicadas en la barrera placentaria y en la
resistencia a múltiples fármacos. Hasta su nombramiento en la ANECA ha llevado a
cabo su labor investigadora en el grupo de investigación Hepatología experimental
y vectorización de fármacos-HEVEFARM de la Universidad de Salamanca. Forma
parte del Instituto de Investigaciones Biomédicas de Salamanca- IBSAL y del
Centro de Investigación Biomédica en Red en enfermedades hepáticas y digestivas-
CIBERehd del Instituto de Salud Carlos III. Desde 2018 es Vicepresidenta electa
de la Sociedad Española de Bioquímica y Biología Molecular y vocal del Comité
Asesor de Infraestructuras Singulares (CAIS) dependiente del Ministerio de Ciencia
e Innovación. Está en posesión del Premio María de Maetzu de excelencia científica
de la Universidad de Salamanca. Ha sido vicerrectora de Investigación (2009-2013)
y de Internacionalización (2013-2017) de la Universidad de Salamanca. Ha sido
secretaria ejecutiva de la sectorial de I+D de CRUE en 2012. En octubre de 2015
fue elegida presidenta del Grupo de trabajo Life Sciences del grupo Coimbra de
universidades europeas. [Link]
E-mail: maserrano@[Link]

260 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 245-261.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 A. I. Bonilla-Calero; M. Á. Serrano-García
Auditorías virtuales en el Programa de Sellos Internacionales de Calidad (SIC) de ANECA en tiempos de pandemia

DIRECCIÓN DE LOS AUTORES

Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA)
Calle Orense, 11, 7ª planta – 28020
Madrid (España)

Fecha de recepción del artículo: 14/12/2020

Fecha de aceptación del artículo: 27/01/2021
Fecha de aprobación para maquetación: 10/02/2021

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 245-261.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 261
 Estudios e
Investigaciones
I.S.S.N.: 1138-2783

Analítica del aprendizaje significativo

d-learning aplicado en la enseñanza de la
física de la educación secundaria
(Analysis of Significant Learning Applied d-Learning
in the Teaching of Physics in Secondary Education)

Marcelo Augusto Salica

Universidad Nacional del Comahue, UNCo (Argentina)

DOI: [Link]

Cómo referenciar este artículo:

Salica, M. A. (2021). Analítica del aprendizaje significativo d-learning aplicado
en la enseñanza de la física de la educación secundaria. RIED. Revista
Iberoamericana de Educación a Distancia, 24(2), pp. 265-284. [Link]
org/10.5944/ried.24.2.28399

Resumen

El inédito contexto de incertidumbre provocado por la enfermedad de COVID-19 tensiona

el sistema educativo de la escuela secundaria. El aislamiento y distanciamiento social obligó el
cambio de la educación presencial por una formación remota de emergencia para garantizar la
continuidad pedagógica. Ante este cambio de modalidad, las analíticas del aprendizaje como
método de investigación de los modelos tecnopedagógicos d-learning permiten evaluar sus
efectos en el desarrollo del aprendizaje significativo. La presente investigación se realizó en
un grupo de 69 estudiantes con una edad promedio de 16,06 años. El modelo tecnopedagógico
se basó en el uso de las aplicaciones de las herramientas de colaboración de Google Suit for
Education. Los contenidos fueron desarrollados para la enseñanza de las Leyes del Movimiento
de Newton desde un enfoque interdisciplinar (Física y Educación Física) fundamentado en la
perspectiva Ciencia, Tecnología y Sociedad. El acopio de datos del proceso de aprendizaje se
realizó durante un periodo de tres meses. Para analizarlo se aplicaron cuatro categorías de las
analíticas: contexto instruccional, la motivación, contenido y discurso. En los resultados se
identifica el desarrollo de competencias metacognitivas: metaaprendizaje y metaconocimiento.
Desde la discusión se arriba a la idea de una analítica del aprendizaje significativo que permita
transformar las tecnologías de la información y comunicación en tecnologías del aprendizaje
y conocimiento metacognitivo.

Palabras clave: aprendizaje significativo; analítica del aprendizaje; enseñanza de la física;

d-learning.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 265-284.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 265
 M. A. Salica
Analítica del aprendizaje significativo d-learning aplicado en la enseñanza de la física de la educación secundaria

Abstract

The unprecedented context of uncertainty caused by the COVID-19 disease stresses the
educational system of secondary education. Isolation and social distancing forced the change
from face to face education to remote emergency training to guarantee pedagogical continuity.
Faced with this change in modality, learning analytics as a research method of techno-
pedagogical d-learning models allow evaluating its effects on the development of meaningful
learning. The present investigation was carried out in a group of 69 students with an average
age of 16.06 years. The techno-pedagogical model was based on the use of the applications
of the collaboration tools of Google Suit for Education. The contents were developed for the
teaching of Newton’s Laws of Motion from an interdisciplinary approach (Physics and Physical
Education) based on the Science, Technology and Society perspective. The data collection
of the learning process was carried out over a period of three months. For its analysis, four
categories of analytics were applied: the instructional context, the motivation, the content and
the discourse. The results identify the development of metacognitive skills: meta-learning and
meta-knowledge. From the discussion, the idea of ​​a meaningful learning analytics that allows
transforming information and communication technologies into learning technologies and
metacognitive knowledge is arrived at.

Keywords: significant learning; learning analytics; physics teaching; d-learning.

La enseñanza remota de emergencia definida por Hodges et al. (2020), fue la

modalidad educativa que las diferentes instituciones debieron adoptar ante la crisis
sanitaria provocada por la pandemia de COVID-19. Esta pandemia decretada por la
Organización Mundial de la Salud (OMS), forzó el cambio de la educación presencial
por la formación en línea y a distancia. Todo esto basado en la necesidad de garantizar
la continuidad pedagógica y los derechos de aprendizaje. La coyuntura del escenario
educativo determinó que las diferentes instituciones educativas planifiquen y
diseñen modelos tecnopedagógicos virtuales de emergencia.
Ante dicho escenario y para el caso de Argentina, el Consejo Federal de Educación
(Resolución 363, 2020) determinó que mientras dure el periodo de aislamiento, la
evaluación del proceso de aprendizaje será de carácter formativo. Esta situación
provocada por la crisis sanitaria tensiona la calidad del sistema educativo e interpela
la eficacia del proceso de aprendizaje en un sistema de enseñanza emergente y
remoto. Ante este problema y en condiciones inéditas, es menester evaluar si estos
pueden promover un aprendizaje significativo y eficaz o no.
De esta manera, en un escenario tecnopedagógico los datos emergen como
subproducto de las actividades e interacciones de los estudiantes. Es así que los
educadores tienen la posibilidad de utilizar la analítica del aprendizaje como una
importante herramienta de conocimiento, que de acuerdo con Galaige y Torrisi-
Steele (2019), esta estrategia debería ser propicia para comprender el progreso de los
estudiantes, reconocer conceptos problemáticos e identificar a los estudiantes con

266 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 265-284.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 M. A. Salica
Analítica del aprendizaje significativo d-learning aplicado en la enseñanza de la física de la educación secundaria

dificultades. En otros términos, la analítica del aprendizaje debería poder realizar

un aporte sustancial para transparentar la relación entre aprendizaje significativo,
evaluación y tecnología educativa.

MARCO TEÓRICO

Con el objetivo de que el conocimiento alcance a todas las personas por igual,
en cualquier contexto y condición, todo modelo tecnopedagógico que se precie de
tal requiere de una cuidadosa planificación y diseño de experiencias de enseñanza y
aprendizaje en línea (Zubillaga y Gortazar, 2020). Un modelo tecnopedagógico es una
construcción teórica que en términos de Onrubia (2005), articula lo abstracto dado
por su diseño y lo real, que se concreta mediante la efectividad de la interactividad
desplegada por los participantes.
Basándose en esa concreción, desde el avance de las primeras Tecnologías de la
Información y Comunicación (TIC), la educación a distancia (1945) ha generado una
diversidad de modalidades derivadas del blended-learning (b-learning), tales como
el móvil-learning (m-learning) y ubiquitous-learning (u-learning). El e-learning
o enseñanza en línea, es un proceso asincrónico que ocurre lejos del lugar del
aprendizaje. Su ventaja reside en la flexibilidad del tiempo y otorga autonomía al
estudiantado (Vlachopoulos y Makri, 2019), pero el carácter asincrónico representa
su principal desventaja como para ser implementado en un contexto educativo en
donde el estudiantado no ha sido preparado para ello. Sin embargo, el b-learning,
da lugar a múltiples variantes, como el modelo d-learning o e-learning directo.
Este modelo de interacción “puede entenderse como la aplicación de tecnología y
estrategias propias de la formación en línea en un contexto de presencia física o
como la aplicación de dinámicas propias de la enseñanza presencial en contextos de
formación virtual de carácter sincrónico” (García-Peñalvo, 2015, p. 8). La necesidad
de implementar este modelo tecnopedagógico, en el contexto de aislamiento
socioeducativo, se justifica en el tipo de interacción que ofrece, dado que combina los
modos sincrónicos y asincrónicos, y emula un proceso de enseñanza y aprendizaje
convencional de tipo presencial. Esto también se justifica en la evidencia científica
que destaca los beneficios de la interacción sincrónica que le otorga inmediatez y
calidad (Francescucci y Rohani, 2018).
A pesar de la diversidad de diseños tecnopedagógicos, son limitados los contextos
educativos de aprendizaje de la Física vinculados al deporte en la educación secundaria
que utilicen algunos de estos modelos de manera que propicie el aprendizaje
significativo, sin que el soporte tecnológico se transforme en un repositorio de
contenidos. Esto hace necesario que desde las entornos tecnopedagógicos, el
estudiantado desarrolle nuevas ideas y promueva la capacidad de interpretar y de
adquirir diferentes niveles de conocimientos (Moreira, 2019).
Para saber si marcha bien dicho desarrollo, hay que evaluar la conducta de los
alumnos. Gracias a los registros de datos disponibles en los entornos digitales se

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 265-284.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 267
 M. A. Salica
Analítica del aprendizaje significativo d-learning aplicado en la enseñanza de la física de la educación secundaria

puede analizar y predecir el comportamiento de las personas en las plataformas

educativas. Este tipo de técnicas se presenta como un enfoque emergente en el
campo educacional para avanzar en el conocimiento sobre el proceso de enseñanza y
aprendizaje en los entornos digitales (Gros y Cano, 2018). Por otra parte, la analítica
del aprendizaje es un tema aplicado con diferentes grados de apropiación en el
contexto académico hispanoamericano y particularmente en la Argentina. Su exiguo
desarrollo en este último se debe al desconocimiento de los dispositivos técnicos
para su aplicación y por su producción teórica de origen inglés (Sabulsky, 2019).
Específicamente en el contexto educativo de la escuela secundaria se encuentran
algunas aplicaciones incipientes para evaluar sistemas de aprendizaje b-learning
y como técnica para aportar posibles soluciones al problema de la continuidad
pedagógica (Salica y Almirón, 2020).
Autores como Siemens y Gašević (2012), Amo y Santiago (2017) definen la
analítica del aprendizaje como la medición, recopilación, análisis y presentación de
los datos sobre los estudiantes, sus contextos y las interacciones que se generan.
Por otro lado, Suthers y Verbert (2013) lo definen como la coalescencia de campos
intermedios entre las ciencias del aprendizaje, la investigación educativa y el uso
de técnicas computacionales para obtener y analizar datos. La interacción de
estos campos de conocimientos permite realizar un seguimiento del rastro digital
que deja el estudiantado e intervenir en su producción académica atendiendo los
desafíos que emergen durante el proceso de aprendizaje en entornos virtuales. Uno
de los tipos de análisis de datos que se pueden realizar y que es objeto de estudio
de la presente investigación se focaliza en el análisis micro en un determinado
curso o aula virtual (Ferguson y Buckingham Shum, 2012). Esto permite analizar y
comprender el proceso de aprendizaje basado en la participación de los estudiantes
y el intercambio producido entre estos y el profesorado (Gunn et al., 2017). Este
tipo de técnicas basadas en la minería de datos en entornos digitales adquiere vital
relevancia para evaluar los efectos del aprendizaje en contexto de aislamiento y
distanciamiento social, dado que las TIC resultan trascendentales para apoyar y
potenciar la evaluación de los procesos de formación. Si bien, uno de los desafíos
para comprender los procesos de instrucción en entornos virtuales tiene que ver
con su propia naturaleza dinámica, la analítica del aprendizaje permite recopilar
grandes caudales de datos e información y de ese modo es posible describir dicha
dinámica. Por otra parte, una de las críticas que recibe esta técnica, se encuentra en
su uso escasamente pedagógico (Galaige y Torrisi-Steele, 2019). Como lo expresan
Gašević et al. (2015), la analítica del aprendizaje se debe focalizar en el estudio del
propio diseño instruccional, en el contenido del curso y en las creencias epistémicas
promovidas en los participantes.
Por otro lado, y con el objetivo de superar la mera cuantificación de datos
superficiales que pueden producir ruidos en su interpretación, el análisis de los efectos
de la enseñanza del modelo d-learning se focaliza en la evaluación del aprendizaje
significativo del contenido (Sabulsky, 2019), en el desarrollo de competencias

268 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 265-284.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 M. A. Salica
Analítica del aprendizaje significativo d-learning aplicado en la enseñanza de la física de la educación secundaria

del estudiantado (Gros y Cano, 2018), en contextos tecnopedagógicos (Siemens y

Gašević, 2012) y con carácter formativo aportado por los datos (Zapata-Ros, 2013).
Focalizándose en esos puntos, la organización de los contenidos y el diseño
tecnopedagógico, son dos de las diferentes variables pedagógicas y didácticas que
determinan la metodología con que se enseña y sus efectos en el aprendizaje. Esto
implica la forma con la que se representan y se relacionan los contenidos en el proceso
de educación y son las que seguramente tienen mayor incidencia en dicho proceso.
A los efectos de comprender el impacto de la Secuencia de Enseñanza y Aprendizaje
(SEA) d-learning en el desarrollo del aprendizaje significativo, es imprescindible
por la complejidad del objeto de estudio, abordarla desde la perspectiva de la
didáctica de las ciencias. Entendida esta última como una disciplina autónoma,
pero interconectada con otros campos disciplinares (Adúriz-Bravo, 2000), como
la analítica del aprendizaje (Suthers y Verbert, 2013), que en el marco de la
investigación educativa busca mejorar los procesos de enseñanza desde diversos
puntos de vista (Long y Siemens, 2011). En este orden de ideas, la didáctica de las
ciencias naturales y la analítica del aprendizaje, cada una con sus propios métodos,
objetivos y finalidades convergen en el mismo propósito, es decir, se encuentran
ante la necesidad de comprender y mejorar los procesos de formación en entornos
digitales.
En este sentido de compartir un objetivo en común, resulta de particular aplicación
los fundamentos del aprendizaje significativo para el diseño del modelo d-learning
y organizar los contenidos disciplinares en forma de proposiciones significativas
(Ausubel et al., 1983). Este enfoque se fundamenta en las ideas de Novak y Gowin
(1988), quienes sostienen que “los conceptos, y las proposiciones que forman las
concepciones, sean elementos centrales en la estructura del conocimiento y en la
construcción del significado” (p.26). Promover este tipo de aprendizaje requiere que
el estudiantado domine principalmente los procesos de metacognición, como clave
para aprender a aprender y aprender a pensar (Chroback, 2017). Es decir, dentro de la
Teoría del Aprendizaje Significativo (1968), el metaconocimiento y metaaprendizaje
son sus dos pilares fundamentales. Por “metaconocimiento se entiende el
conocimiento relativo a su naturaleza y estructura, mientras que el metaaprendizaje
se vincula al aprendizaje relativo a la naturaleza del aprendizaje” (Novak y Gowin,
1988, p. 33). De esta manera, el desarrollo de estas competencias metacognitivas en
los entornos de enseñanza remota resulta de particular aplicación, para la “medición
y evaluación del aprendizaje del contenido y el desarrollo de competencias del
estudiantado” (Gros y Cano, 2018, p.50). Por otra parte, se plantea que la dinámica
del diseño d-learning permitiría la transferencia de los conceptos centrales a nuevas
situaciones, promoviendo la profundización y una mayor comprensión del contenido
interdisciplinar. A su vez, la analítica del aprendizaje significativo apoyada en la
metacognición viabilizaría la transformación de la evaluación en una herramienta
de conocimiento. En estos términos y de acuerdo con Galaige y Torrisi-Steele (2019),
si la evaluación es conocer y comprender, los datos suministrados mediante las

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 265-284.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 269
 M. A. Salica
Analítica del aprendizaje significativo d-learning aplicado en la enseñanza de la física de la educación secundaria

analíticas del aprendizaje significativo permitirán describir la forma de apropiación

de los procesos por los cuales se produjo el conocimiento.

OBJETIVO

Mediante la analítica del aprendizaje significativo de las clases de física

d-learning, el presente estudio tiene por objetivo: caracterizar la dinámica del proceso
d-learning con perspectiva didáctica en contexto de aislamiento y distanciamiento
social; vincular los datos del modelo tecnopedagógico con el aprendizaje significativo
y matizar una primera idea de la analítica del aprendizaje significativo.

MÉTODO

La investigación consiste en un estudio de caso aplicado a un grupo único

experimental natural de estudiantes de la educación secundaria, cuya indagación
se encuadra dentro del proceso de investigación-acción-formación de la cátedra de
Práctica Docente I del Profesorado en Física (Universidad Nacional del Comahue).

Participantes

La totalidad de los participantes se compone de tres subgrupos del cuarto año de

la escuela secundaria, con un total de 69 estudiantes constituido de la siguiente forma:
42 mujeres (60,86%) y 27 hombres (39,13%), con una edad promedio de 16,06 años
(SE = 0,36). Otra de sus características está dada por el tipo de aprendizaje, donde 65
son estudiantes de aprendizaje típico y 4 cursan con adecuación de sus trayectorias
escolares, es decir, son estudiantes con necesidades educativas especiales. El
estudiantado cursa la asignatura física y deportes del ciclo superior, con orientación
bachiller. La institución educativa se ubica en la ciudad de Cipolletti, provincia de
Río Negro (Patagonia Argentina).

Diseño experimental y fuentes de datos

Se utilizó un enfoque de investigación cuantitativo basado en las analíticas del

aprendizaje con perspectiva didáctica. Los instrumentos de investigación consisten
en el (1) diseño de la secuencia de enseñanza y aprendizaje d-learning (2), la
plataforma educativa Google Classroom con sus aplicaciones disponibles y (3) un
cuestionario aplicado al final de la intervención tecnopedagógica mediante el uso de
Google Formularios.

270 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 265-284.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 M. A. Salica
Analítica del aprendizaje significativo d-learning aplicado en la enseñanza de la física de la educación secundaria

Tabla 1
Esquema del diseño experimental

Instrumentos:
Estudiantes de
(1) SEA d-learning
4to año (3) Google Formularios
(2) Google Classroom
Tiempos Analíticas del aprendizaje
Orientativos 01/04/2020 x/y+n/2020 29/06/2020

Instrumento 1: secuencia de enseñanza y aprendizaje

El diseño de la SEA d-learning se enfoca en la enseñanza de los tres Principios

del Movimiento de Newton, mediante la articulación interdisciplinaria de Física
y Educación Física para el estudio de contenidos específicos en la educación
secundaria. Para otorgar significado y reciprocidad a la estructura del contenido
interdisciplinar, este se articula desde un enfoque Ciencia-Tecnología-Sociedad
(CTS). Las características del enfoque CTS son consideradas como buenos contextos
para desarrollar las habilidades del pensamiento científico y crítico (España Ramos
y Prieto Ruz, 2010), con el propósito de capacitar al estudiantado en la aplicación
de dichas habilidades en situaciones cotidianas. Esto se debe a que los estudios CTS
componen un campo de trabajo interdisciplinario en los ámbitos de la investigación
académica, la educación y la política pública. Este campo se focaliza en la necesidad de
generar un espacio de encuentro significativo que regule la interacción democrática
del cambio científico-tecnológico y dicho espacio se encuentra en el ámbito educativo
(Gordillo, 2017).
Cada SEA d-learning tiene la misma estructura didáctica de inicio, desarrollo
y cierre, caracterizada como ciclo constructivista de enseñanza y aprendizaje
(Sanmartí, 2002). Sus contenidos fueron elegidos en función de las características del
grupo de estudiantes y de acuerdo a su nivel de dominio disciplinar y conocimiento
sobre las dificultades de aprendizaje. Por otra parte, los contenidos son vinculados
al currículo mediante los siguientes ejes tomados de los Núcleos de Aprendizaje
Prioritarios (2011): La introducción a la noción de campo de fuerzas como una zona
del espacio donde se manifiestan interacciones de diferente naturaleza, utilizando
ejemplos gravitatorios, eléctricos y magnéticos. La anticipación en la producción
motriz para la resolución de problemas que presentan las diferentes prácticas
corporales y su aprendizaje. La descentración en la lectura de situaciones motrices,
anticipando problemas y resultados para la toma de decisiones en función de una
óptima resolución. La selección y utilización de secuencias de tareas para la mejora
de las capacidades motrices, reconociendo criterios y principios para su realización
adecuada.
Con base en lo anterior, la SEA d-learning se organizó en los cuatro capítulos
siguientes, cada uno desarrollado durante una semana:

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 265-284.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 271
 M. A. Salica
Analítica del aprendizaje significativo d-learning aplicado en la enseñanza de la física de la educación secundaria

• Capítulo 1: Las fuerzas en el cuerpo humano.

• Capítulo 2: Ley de Inercia de Newton.
• Capítulo 3: Ley de Acción y Reacción.
• Capítulo 4: ¡Que la fuerza te acelere!

El instrumento busca promover la realización de actividades físicas a través

de la gamificación como estrategia para incrementar la motivación en estas dos
disciplinas, en contexto de incertidumbre provocado por la pandemia de COVID-19.
Esto se realiza a través de actividades deportivas con el propósito de mejorar sus
capacidades condicionales de fuerza, resistencia muscular y flexibilidad, aplicando
los saberes adquiridos de esta ciencia.

Instrumento 2: Google Classroom

La plataforma educativa Google Classroom (GC) viene incluida en el servicio

gratuito de G Suite for Education, con aplicaciones como: Drive, Gmail, Meet y
YouTube entre otros. Mediante la configuración de las aplicaciones se obtiene un
modelo tecnopedagógico d-learning. La versatilidad de las aplicaciones permite
administrar el trabajo en el aula virtual y realizar el seguimiento del estudiantado. En
otros términos, GC posibilita personalizar y focalizar los avances de cada estudiante,
identificando dificultades y oportunidades durante el desarrollo del contenido.
Desde la analítica del aprendizaje, GC admite recibir notificaciones por correo
electrónico para profesores y estudiantes, que son configuradas para automatizar
el registro de informes sobre el trabajo de estudio: invitaciones para apuntarse en
clase, tareas (entregadas y recibidas) y comentarios de publicaciones referidas al
contenido de la asignatura. De esta manera, este conjunto de notificaciones genera
un banco de datos basado en las interacciones que son compilados y almacenados
por defecto en el correo electrónico que utiliza el profesorado cada vez que realiza
algún tipo de actividad en GC. Este compilado es manipulado posteriormente para
el análisis estadístico e interpretación cualitativa en función de los objetivos de la
investigación.

Instrumento 3: Cuestionario en Google Formularios

Google Formularios es una aplicación de administración de encuestas que se

incluye en la suite de oficina de Google Drive y Google Classroom junto con Google
Docs, Google Sheets y Google Slides. Esta permite crear cuestionarios con diferentes
formatos de preguntas, tipo cerradas o forzadas para elegir opciones como las
escalas Likert, y preguntas abiertas o de construcción para desarrollar la respuesta.
La combinación de este tipo de instrumento mixto o multimodal permite diferenciar
entre memoria libre y los diferentes procesos de reconocimiento metacognitivos

272 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 265-284.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 M. A. Salica
Analítica del aprendizaje significativo d-learning aplicado en la enseñanza de la física de la educación secundaria

(Salica, 2018). Para el estudio se desarrolló un cuestionario de 10 preguntas basado

en un modelo mixto. Nueve de ellas deben ser respondidas valorando cada una de las
opciones en función de una escala ordinal: Nada (1), Poco (2), Bastante (3) y Mucho
(4), incluyendo las opciones No sabe/No contesta. La pregunta 10 es una consigna
abierta o de desarrollo para permitir al estudiantado expresarse libremente. A
continuación se exhiben las preguntas del cuestionario y se destaca en negrita la
categoría de conocimiento que se indaga en cada una.

Tabla 2
Instrumento mixto

Preguntas:
1 ¿Crees que esta SEA te ha ayudado a adquirir habilidades?
2 ¿Consideras útil lo aprendido con esta SEA?
3 ¿Consideras interesante lo aprendido con esta SEA?
4 Tu grado de motivación en la SEA ha sido…
5 ¿Cómo valoras el tiempo dedicado a la SEA d-learning?
6 ¿Cómo valoras el grado de dificultad de la SEA?
7 ¿Crees que la SEA te permitió aprender a aprender?
8 Valora tu satisfacción personal en relación con la SEA …
¿Cómo valoras el uso de la plataforma de Google Classroom como medio de
9
apoyo para el aprendizaje?
10 Describe una o más habilidades que hayas aprendido en esta SEA …

Las categorías de las analíticas del aprendizaje son adaptadas de Ferguson y

Buckingham Shum (2012), quienes ofrecen un esquema para clasificarlas. Con base
en estos autores se utilizan 4 categorías de analíticas con perspectiva didáctica:
analítica del discurso/lenguaje (discourse analytics), analítica del contenido (content
analytics), analítica de la motivación (disposition analytics) y analítica del contexto
instruccional (analytics of the instructional context). Las tres primeras categorías
se encuentran vinculadas al aprendizaje, con la particularidad de que la analítica
del discurso y del contenido se focalizan en el análisis proposicional del contenido,
mientras que la última se aplica a la interacción tecnopedagógica.

Procedimiento de análisis de las interacciones

El análisis de las interacciones se realiza mediante técnicas de estadística

descriptiva, basada en la identificación de las variables, su categorización, codificación
e interpretación cualitativa. Las interacciones son recepcionadas y almacenadas
en el correo electrónico que utiliza el profesorado. Luego, son clasificadas para su
codificación y categorización de modo que permita describir la dinámica del sistema-

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 265-284.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 273
 M. A. Salica
Analítica del aprendizaje significativo d-learning aplicado en la enseñanza de la física de la educación secundaria

aula digital d-learning en base al conjunto de datos obtenidos. Posteriormente, se

realiza el análisis de datos con el software SPSS.
El procedimiento de codificación y categorización se realiza aplicando la analítica
del discurso/lenguaje (discourse analytics), como forma de comprender el contenido
del mensaje que resulta de la negociación y construcción del conocimiento. A su vez,
cada respuesta recibida de la interacción se clasifica en función de si el mensaje es
realizado por el profesorado, por el estudiantado o es un mensaje automático de GC.
El tipo de interacción tecno-interpersonales que suscita en el aula virtual es entendido
como analítica del contexto instruccional (analytics of the instructional context).
Cuando una de las respuestas incluye dos o más interacciones completamente
diferentes, estas son computadas de forma independiente. En caso de que una
interacción haga referencia a varias categorías, se codifican con números la segunda
y las sucesivas categorías a las que aluda esa misma interacción. De esta manera,
la analítica del contexto instruccional permite caracterizar el tipo de relaciones e
interacciones entre los individuos (estudiantes y profesores) y el aula virtual (GC),
para inferir su influencia en el proceso de aprendizaje significativo.

Procedimiento de análisis del cuestionario

La analítica de la motivación (disposition analytics) se utiliza en las preguntas del

cuestionario por medio de técnicas estadísticas con el software SPSS. Los datos son
recopilados en una hoja de cálculo que genera la misma aplicación. Las respuestas
obtenidas de las nueve preguntas de tipo cerradas se analizan cuantitativamente
(discourse analytics). En las respuestas de elaboración de la pregunta diez se realiza
el análisis de contenido (content analytics) cualitativo para identificar las respuestas
vinculadas a las siguientes categorías del aprendizaje significativo: metaaprendizaje
y metaconocimiento.

ANÁLISIS Y RESULTADOS

A los efectos de estudiar el impacto de la SEA d-learning en la dinámica del aula

para el desarrollo del aprendizaje significativo, es imprescindible, precisamente por
la complejidad del fenómeno de enseñanza y aprendizaje tecnopedagógica, delimitar
algunas de sus variables desde la analítica del contexto instruccional con perspectiva
didáctica.

Analítica del contexto instruccional

En el sistema-aula digital, las actividades de enseñanza y aprendizaje se encuentran

reguladas y orientadas por la SEA d-learning. La progresión de los aprendizajes fluye
como resultado de la interacción que sucede entre sus elementos principales. Dicha

274 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 265-284.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 M. A. Salica
Analítica del aprendizaje significativo d-learning aplicado en la enseñanza de la física de la educación secundaria

progresión es capturada por medio de los mensajes y notificaciones que genera el

profesorado, el estudiantado y GC. La interacción tecnopedagógica generó un total de
359 registros automáticos. Estos fueron identificados y categorizados por medio de
una tabla de frecuencia y representados en la figura 1, donde se destaca con leyendas
el inicio y cierre respectivo de cada capítulo de la SEA d-learning (Eje.: Cap. 1).

Figura 1
Frecuencia de las interacciones en función de los días de desarrollo de la SEA
d-learning

35 Cap. 3
Total
Cierre SEA
Profesorado
30 Estudiantes
Cap.4 Google Classroom
Cap. 2 Lineal (Profesorado)
25 Lineal (Estudiantes)
Cap. 1 Polinomial (Google Classroom)
20

15

10

0
1 2 3 4 5 6 7 8 9 10111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758

-5

A través de las líneas de tendencia, se destaca la conducta de cada actor

(Profesorado, Estudiantes, GC) a lo largo de toda la SEA d-learning, a partir de la
cual se encuentra que el profesorado y el estudiantado presentan una declinación
en sus interacciones. Esto se debe a que en el inicio de cada capítulo hay una mayor
demanda de parte de los alumnos para comprender los objetivos de los aprendizajes.
Así mismo, al mantener la misma lógica didáctica en toda la SEA, esta demanda
disminuye y de manera consecuente la interacción Profesorado – Estudiantes.
Por otra parte, GC presenta una tendencia polinómica. Esta última describe un
comportamiento mediador entre los dos anteriores, debido a que el proceso de
enseñanza y aprendizaje hacia el final del primer mes de actividades entra en un
estado de automatización de las interacciones.
Desde el campo de la analítica del aprendizaje significativo con perspectiva
didáctica, los datos muestran los tiempos necesarios que requiere el grupo de
estudiantes de aprendizaje típico (N = 59), siendo de aproximadamente 29 días. A su

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 265-284.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 275
 M. A. Salica
Analítica del aprendizaje significativo d-learning aplicado en la enseñanza de la física de la educación secundaria

vez, se observa que el estudiantado con necesidades educativas especiales (N = 10)

requiere aproximadamente el doble de tiempo (57 días) para alcanzar un aprendizaje
análogo. Además, el seguimiento de los alumnos por medio de la analítica del
aprendizaje permitió identificar 6 nuevos estudiantes, respecto de los 4 iniciales que
requieren mayor tiempo para aprender.
A continuación, y desde la perspectiva sistémica en la que el interés de este
estudio se focaliza, en la siguiente tabla 3, se realiza una descripción estadística de
la interacción centrada en los 59 estudiantes que alcanzan el aprendizaje dentro del
tiempo programado por el profesorado.

Tabla 3
Estadísticos de la interacción tecnopedagógica

Estadísticos: Total Profesorado Estudiantes Google

Válidos 59 59 59 59
N
Perdidos 0 0 0 0
Media (x̄) 6,08 1,52 2,35 2,20
Mediana 3,00 0,00 1,00 1,00
Desv. Típ. (Sn) 8,40 Sp = 2,94 SE = 3,65 SG = 3,28

Al comparar la media aritmética y su contraste mediante la Desviación Típica

(Sn) de cada categoría de la tabla 3, se deduce que el Profesorado interviene en menor
medida que el Estudiantado y GC, puesto que la media aritmética entre estos últimos
presenta una diferencia de |0,15| puntos, con un valor promedio de |0,75| puntos
respecto al primero. Así mismo, como la Sn permite establecer un valor de referencia
para estimar la variación general del proceso de intervención de estos tres actores,
la SP indica una desviación más baja, respecto de lo que indican las intervenciones
realizadas entre el Estudiantado y GC. La Sn entre estos últimos presenta una
homogeneidad similar, en efecto, la SE=0,34 y de SG=0,37 respectivamente. Es decir,
el proceso de intervención de los tres actores no presenta una diferencia sustantiva,
esto permite inferir que la organización espacial y cronológica de la interacción
d-learning de la SEA se encuentra organizada de manera adecuada para promover la
progresión de los aprendizajes.
Dentro de la dinámica del aula digital y a fines de los objetivos de la presente
investigación, resulta necesario caracterizar la frecuencia participativa de los
estudiantes en relación al protagonismo de sus participantes por cada subgrupo
(figura 2).

276 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 265-284.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 M. A. Salica
Analítica del aprendizaje significativo d-learning aplicado en la enseñanza de la física de la educación secundaria

Figura 2
Participación del estudiantado por subgrupo

12
Frecuencia participativa

10
4to. 1era. 4to. 2da. 4to. 3era.
8

0
1 2 3 4 5 6 7 8 9 10 11
Número de protagonistas por subgrupo

En este caso, es importante comprender cómo se articulan las relaciones

intersujetos para promover la progresión del aprendizaje significativo en cada
subgrupo. En el curso de un proceso de enseñanza y aprendizaje, los estudiantes
interaccionan consigo mismos (reflexionando), con sus compañeros, con otras fuentes
de información, con el profesor o con el aula virtual. Para este caso se determinó la
frecuencia participativa de cada estudiante en el aula virtual. Esto permite delimitar
cuántos alumnos interactúan explícitamente en la dinámica de GC. De esta manera
en la figura 2 se observa que no todos los estudiantes interactúan con el profesorado
de manera directa, actividad que implicaría realizar comentarios o acciones referido
al contenido o con la metodología de enseñanza y aprendizaje. Desde los datos de la
figura 2 se puede apreciar que la dinámica de la clase se articula principalmente en
torno a un estudiante por curso, quien presenta una alta frecuencia participativa (f
≥ 8). Al contrastar esta frecuencia con el comportamiento del estudiantado en cada
subgrupo, emerge el protagonismo de uno de los estudiantes que complementa la
tarea del profesorado en interacción con el resto del estudiantado. Por otra parte,
se observa que en cada subgrupo hay aproximadamente hasta cuatro estudiantes
que participan con una frecuencia ≤ 2 intervenciones. La participación del resto de
los alumnos se hace mediante la entrega de tareas, cuya notificación lo realiza GC.
Cada una de estas participaciones constituyen interacciones parciales, configurando
la matriz organizativa d-learning que regula y orienta la dinámica del proceso de
enseñanza y aprendizaje a lo largo de la SEA d-learning.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 265-284.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 277
 M. A. Salica
Analítica del aprendizaje significativo d-learning aplicado en la enseñanza de la física de la educación secundaria

Analítica del aprendizaje significativo

La analítica del aprendizaje significativo evalúa el efecto de la dinámica del

sistema-aula digital en el aprendizaje de los contenidos y el desarrollo de competencias
metacognitivas. Es decir, conlleva la articulación de las analíticas proposicional del
discurso, del contenido y de la motivación.
Analítica de la motivación
En la figura 3, se representa las proporciones globales acerca del impacto de la
SEA d-learning en el estudiantado.

Figura 3
Valoración global porcentual del efecto de la SEA d-learning en el aprendizaje

43,21

26,32
21,20

3,72 5,57

Nada Poco Bastante Mucho Ns/Nc

Esta indica la proporción de respuestas de los alumnos (N = 54) en relación a la

totalidad de las preguntas cerradas (N = 9), de esta manera es posible estimar si la
SEA d-learning promueve el aprendizaje significativo desde un enfoque cuantitativo.
El resultado determina que el 64,41% de los estudiantes (N = 35) lo valora como
bastante/mucho, mientras que el 30,03% (N = 16,20) lo califica como poco/nada. A
partir de este resultado, en la tabla 4 se desglosa el efecto global en función de cada
una de las preguntas del cuestionario en línea. Con base en los resultados de la tabla 4,
los datos dan cuenta de que la SEA d-learning promovió el desarrollo de habilidades
generales y específicas, tales como aprender a pensar y aprender en nuevos entornos
de aprendizaje. Por otra parte, su finalidad es identificada por el estudiantado, ya
que promueve el interés y la motivación en una proporción relevante.

278 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 265-284.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 M. A. Salica
Analítica del aprendizaje significativo d-learning aplicado en la enseñanza de la física de la educación secundaria

Tabla 4
Valoración del efecto de la SEA d-learning por categorías

Categorías Nada Poco Bastante Mucho Ns/Nc

P1 Habilidades 0 31,5 61,1 3,7 3,7
P2 Finalidad/Utilidad 0 22,2 51,9 24,1 1,9
P3 Interesante 1,9 9,3 57,4 27,8 3,7
P4 Motivador 7,4 46,3 33,3 9,3 3,7
P5 Tiempo 1,9 16,5 51,9 22,2 7,4
P6 Dificultad 5,6 38,9 40,7 7,4 7,4
P7 Aprender a pensar 9,3 38,9 25,9 16,7 9,3
P8 Satisfacción 3,7 18,5 38,9 25,9 13
P9 Aprendizaje d-learning 3,7 14,8 27,8 53,7 0
Promedio 3,72 26,32 43,21 21,20 5,57

El tiempo utilizado para cumplir con las tareas de aprendizaje resulta moderado,
dado que oscila entre las categorías poco/bastante. La dificultad se vincula con la
experiencia en sí misma de la SEA d-learning con enfoque interdisciplinar en contexto
de pandemia. La valoración de dicha variable debe ser interpretada en contraste
con el nivel de satisfacción que provoca en el estudiantado. Sopesando la dificultad
(bastante/mucho: 48,10%) y la satisfacción (bastante/mucho: 64,80%), este
contraste de resultados permite inferir que la SEA d-learning equipara los desafíos y
oportunidades que presenta la comprensión de los contenidos con la metodología y
estrategia de enseñanza y aprendizaje planificado desde la perspectiva CTS.
Analítica proposicional del discurso y del contenido
En la tabla 5, se exponen los resultados obtenidos de la analítica del
aprendizaje significativo con enfoque cualitativo, basado en la identificación de los
metaconocimientos y metaaprendizajes.

Tabla 5
Categorías de conocimiento metacognitivos

Competencias Frecuencia (%) Ejemplos Representativos

Reconocer las fuerzas por las cuales
estamos constantemente afectados y
Metaconocimiento 14 27,45
cómo interactúan entre sí para permitir el
movimiento de los cuerpos.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 265-284.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 279
 M. A. Salica
Analítica del aprendizaje significativo d-learning aplicado en la enseñanza de la física de la educación secundaria

Competencias Frecuencia (%) Ejemplos Representativos

Aprendí a organizarme con más tiempo
para hacer estas actividades, leer
detenidamente, ejecutar la parte práctica
Metaaprendizaje 16 30,76
(que resultó igual de importante que la
teórica), relacionar y aplicar los conceptos
de física en educación física.
Pude aprender y reflexionar más en los
-Conocimiento movimientos que realizo, con la fuerza
peso o sin ella. He aprendido la 2da Ley
Meta: 14 27,45
de Newton en profundidad aplicado a la
-Aprendizaje eficiencia deportiva, y pensado más en la
gravedad como fuerza.
Ns/Nc 7 13,72 -----
Total 51 100,00

Estas categorías metacognitivas, constituyen las competencias que caracteriza el

aprendizaje significativo. Como se puede observar en la tabla 5, el metaaprendizaje
(30,76%) y el metaconocimiento (27,45%) son dos competencias diferentes y se
manifiestan de manera independiente en algunos estudiantes, en otros casos estas
dos categorías de conocimientos se expresan de forma interconectada (27,45%).
En ambas situaciones, el instrumento mixto permite el acopio de los distintos
procesos de reconocimiento metacognitivos (Aprender: 52,94%; Relacionar:
9,80%, Reflexionar: 1,96%, Discernir: 7,84% e Identificar: 1,96%) alcanzado por
el estudiantado y diferenciando los de memoria libre (Recuerdo: 11,76%; Ns/
Nc: 13,73%). Por medio de la analítica proposicional de las diferentes funciones
metacognitivas en la estructura que concierta las proposiciones significativas, esta
permite caracterizar cualquier concepto que un estudiante pone de manifiesto por
medio del conjunto de proposiciones que estos utilizan durante el desarrollo de la
SEA d-learning.

DISCUSIÓN Y CONCLUSIÓN

Dentro de la metodología de la investigación, la analítica del aprendizaje

significativo con perspectiva didáctica se basó en la visualización de los datos
almacenados durante largos periodos de tiempo (Chatti et al., 2012). Al tener mayor
cantidad de datos, estos fueron identificados y vinculados al aprendizaje de los
estudiantes mediante su analítica (Amo y Santiago, 2017). Esto deriva de la propia
dinámica de la enseñanza presencial en contextos de formación virtual y a distancia
de carácter sincrónico y asincrónico que posibilita este tipo de retroalimentación por
medio de la plataforma educativa (García-Peñalvo, 2015). A su vez, la interacción
d-learning exterioriza la función didáctica del aula virtual. Esto resulta un apoyo

280 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 265-284.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 M. A. Salica
Analítica del aprendizaje significativo d-learning aplicado en la enseñanza de la física de la educación secundaria

relevante para caracterizar el comportamiento del estudiantado y de ese modo

mejorar los procesos focalizando en la metacognición y el aprendizaje efectivo
(Galaige y Torrisi-Steele, 2019), siendo que el problema concreto que se aborda en
el estudio consistió en fortalecer la continuidad pedagógica de los estudiantes para
promover el aprendizaje significativo, en contexto de aislamiento y distanciamiento
social.
Por otra parte, al introducir una técnica de investigación emergente en el
contexto hispanoamericano y en particular en la Argentina, es menester reconocer
el problema que el mismo conlleva y para el cual se pretende realizar aportes que
ofrezcan respuestas factibles, es decir, focalizar el uso de la analítica al servicio del
aprendizaje (Sabulsky, 2019). En relación a lo anterior, este campo de conocimiento
basado en el uso de técnicas estadísticas para procesar, analizar y modelizar el
caudal de datos e información que ofrecen las bases de datos automáticas resulta
muy prometedora para poder describir y comprender las prácticas efectivas que
realizan los sujetos que participan en un entorno educativo digital d-learning.
Así, esta técnica permite describir el perfil de apropiación de los estudiantes y las
dinámicas de interacción en el sistema-aula digital (actividades, roles de aprendizaje,
tipos de interacciones). Es decir, las analíticas del aprendizaje fortalecen la forma
de comprender la progresión y el contexto de aprendizaje d-learning con base en
los datos con perspectiva didáctica. Como expresa Zapata-Ros (2013), la analítica
del aprendizaje aporta datos e información con carácter formativo para orientar la
acción educativa.
El caudal de datos que suministran las interacciones constituye una oportunidad
para comprender mejor las oportunidades y desafíos que subyacen en la diversidad
de los modelos tecnopedagógicos e-learning y sus derivados. Estos resultan de gran
utilidad para la evaluación del proceso educativo de los estudiantes, pero de acuerdo
con Sabulsky (2019), son ignorados por el escaso uso y aplicación de la analítica
del aprendizaje y en particular por la didáctica de las ciencias naturales. En otros
términos, el proceso de modelización de los datos con perspectiva didáctica deja
conocer los entornos de aprendizaje que estos elaboran, generalmente de manera
implícita. Estos espacios implican las interacciones dinámicas que se establecen entre
sus pares, con sus docentes, los materiales didácticos y los métodos y estrategias
personales que definen sus propios estilos de aprendizaje. Potenciar estas técnicas
de indagación permitiría el ajuste de las diferentes herramientas pedagógicas y de
diseño instruccional basadas en teorías educativas disímiles, con el fin último de
mejorar los procesos de instrucción de los estudiantes.
En este artículo se ha introducido la idea de la analítica del aprendizaje
significativo con perspectiva didáctica. Esta surge de la colaboración entre las ciencias
del aprendizaje, la investigación educativa y el uso de técnicas computacionales
(Suthers y Verbert, 2013). Para alcanzar esta construcción multidisciplinar,
por medio de la medición, recopilación, análisis y presentación de los datos del
estudiantado (Siemens y Gašević, 2012; Amo y Santiago, 2017), emerge la necesidad

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 265-284.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 281
 M. A. Salica
Analítica del aprendizaje significativo d-learning aplicado en la enseñanza de la física de la educación secundaria

de construir métricas con enfoque mixto o multimodal: cualitativo y cuantitativo.

Este tipo de instrumento mejora la interpretación de los datos, al reducir la amenaza
a la validez del estudio al evitar posibles desviaciones o sesgos en procedimientos
y razonamientos. Para esto, es necesario articular con los aportes de la psicología
cognitiva, disciplina que diferencia entre memoria libre y procesos de reconocimiento
metacognitivos. Es por ello que los tipos de preguntas aplicadas (cerradas o forzadas
y abiertas o de construcción) están diseñados para aprovechar los diferentes procesos
metacognitivos (Salica, 2018). De esta manera, la métrica utilizada en la analítica
del aprendizaje apoyada en la metacognición transforma a la tecnología en una
herramienta de conocimiento auténtica (Galaige y Torrisi-Steele, 2019). Esta mide,
estructura y combina los diferentes conceptos por medio de proposiciones claves que
caracterizan el aprendizaje significativo (Ausubel et al., 1983; Novak y Gowin, 1988).
Así, la analítica del aprendizaje significativo consiste en recoger datos y metadatos
producidos por el estudiantado para vincular la progresión de los aprendizajes con
las competencias metacognitivas en entornos tecnopedagógicos, a partir de analíticas
del aprendizaje disímiles.
En síntesis, la analítica del aprendizaje significativo en el contexto educativo
podría contribuir a la integración de las TIC para transformarlas en Tecnologías del
Aprendizaje y Conocimiento Metacognitivo, y para la toma de decisiones informadas.
Esto posibilitaría que cada estudiante desarrolle lo mejor de sí mismo y que nadie
quede atrás, dado que el tiempo de aprendizaje individual es una incertidumbre que
la analítica permite indagar y de ese modo el profesorado estaría en condiciones de
ajustar la dinámica de la interacción del sistema-aula digital y diseñar la SEA para
que todos puedan aprender desarrollando las competencias del siglo XXI (Chrobak,
2017; Gros y Cano, 2018).

REFERENCIAS

Adúriz-Bravo, A. (2000). La didáctica de las 6), 318-331. [Link]

ciencias como disciplina. Enseñanza & IJTEL.2012.051815
Teaching: Revista interuniversitaria de Chrobak, R. (2017). El aprendizaje
didáctica, 17, 61-74. significativo para fomentar el
Amo, D., y Santiago, R. (2017). Learning pensamiento crítico. Archivos de Ciencias
Analytics: la narración del aprendizaje a de la Educación, 11(12), e031. [Link]
través de los datos. Oberta UOC. org/10.24215/23468866e031
Ausubel, D., Novak, J. D., y Hanesian, H. España Ramos, E., y Prieto Ruz, T. (2010).
(1983). Aprendizajes significativos. Problemas socio-científicos y enseñanza-
Psicología Educativa: Un punto de vista aprendizaje de las ciencias. Investigación
cognoscitivo. 2° Ed. Trillas. en la Escuela, 71, 17-24.
Chatti, M. A., Dyckhoff, A. L., Schroeder, U., Ferguson, R., y Buckingham Shum, S. (2012).
y Thüs, H. (2012). A reference model for Social Learning Analytics, five approaches.
learning analytics. International Journal En: 2nd International Conference on
of Technology Enhanced Learning, 4(5- Learning Analytics & Knowledge, 29
Apr - 02 May 2012, Vancouver, British

282 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 265-284.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 M. A. Salica
Analítica del aprendizaje significativo d-learning aplicado en la enseñanza de la física de la educación secundaria

Columbia, Canada, 23-33. [Link] Long, P. D., y Siemens, G. (2011). Penetrating

org/10.1145/2330601.2330616 the Fog: Analytics in Learning and
Francescucci, A., y Rohani, L. (2018). Education. Educause Review, 46(5),
Exclusively Synchronous Online 30-32. [Link]
(VIRI) Learning: The Impact on 4324/195
Student Performance and Engagement Moreira, P. (2019). El aprendizaje
Outcomes. Journal of Marketing significativo y su rol en el desarrollo social
Education, 41(1), 60-69. [Link] y cognitivo de los adolescentes. Rehuso,
org/10.1177/0273475318818864 4(2), 1-12. [Link]
Galaige, J., y Torrisi-Steele, G. (2019). [Link]/Rehuso/article/view/1845
Análisis del ‘aprendizaje’ en el análisis Novak, J., y Gowin, D. (1988). Aprendiendo
orientado al alumno: metacognición y a Aprender. Martínez Roca.
la zona de desarrollo próximo. Revista Onrubia, J. (2005, febrero). Aprender
Internacional de Tecnología y Educación y enseñar en entornos virtuales:
Vocacional para Adultos (IJAVET), actividad conjunta, ayuda pedagógica
10(1), 1-12. [Link] y construcción del conocimiento. RED.
IJAVET.2019010101 Revista de Educación a Distancia,
García-Peñalvo, F. J. (2015). Cómo entender número monográfico II. [Link]
el concepto de presencialidad en los [Link]/ead/red/M2/
procesos educativos en el siglo XXI. Resolución 363 de 2020 [Consejo Federal
Education in the knowledge society (EKS), de Educación Argentina]. Por la cuál se
2(16), 6-12. [Link] modifican los procesos de evaluación y
eks2015162612 continuidad pedagógica. 15 de mayo de
Gašević, D., Dawson, S., y Siemens, G. (2015). 2020.
Let’s not forget: Learning analytics are Sabulsky, G. (2019). Analíticas de
about learning. Tech-Trends. 59(1), 64- aprendizaje para mejorar la enseñanza
71. [Link] y el seguimiento a través de entornos
0822-x virtuales. Revista Ibero-americana de
Gordillo, M. M. (2017). El enfoque CTS en la Educación, 1(80), 13-30. [Link]
enseñanza de la ciencia y la tecnología. org/10.35362/rie8013340
Paraguay: Consejo Nacional de Ciencia y Salica, M. A., y Almirón, M. E. (2020).
Tecnología (CONACYT). Analítica del aprendizaje del móvil
Gros, B., y Cano, E. (2018). El uso de learning (m-learning) en la educación
las analíticas de aprendizaje para la secundaria. Revista Iberoamericana de
mejora de la formación. En T. Lleixà, B. Tecnología en Educación y Educación en
Gros, T. Mauri, y J. L. Medina (Eds.), Tecnología, (26), en prensa.
Educación 2018-2020. Retos, tendencias Salica, M. A. (2018). Caracterización de las
y compromisos (pp. 45-50). IRE-UB. habilidades del pensamiento crítico para
Gunn, C., Mcdonald, J., Donald, C., Milne, el desarrollo del conocimiento didáctico
J., y Blumenstein, M. (2017). Building an del contenido en profesores de ciencias
evidence base for teaching and learning naturales. Enseñanza & Teaching, 36(1),
design using learning analytics. Project 199-221. [Link]
Report. [Link] et2018361199221
Hodges, Ch., Moore, S., Lockee, B., Trust, Sanmartí, N. P. (2002). Didáctica de las
T., y Bond, A. (2020). The Difference ciencias en la educación secundaria
Between Emergency Remote Teaching obligatoria. SINTESIS.
and Online Learning. Educause Review.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 265-284.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 283
 M. A. Salica
Analítica del aprendizaje significativo d-learning aplicado en la enseñanza de la física de la educación secundaria

Siemens, G., y Gašević, D. (2012). Learning study of good practice. International

and Knowledge Analytics. Educational Review of Education, 65, 605-632.
Technology & Society, 15(3), 1-2. [Link]
Suthers, D., y Verbert, K. (2013, April). 09792-3
Learning analytics as a middle space. En Zapata-Ros, M. (2013). Analítica del
Proceedings of the Third International aprendizaje y personalización. Revista
Conference on Learning Analytics and Científica de Tecnología Educativa, 2(2),
Knowledge (pp. 1-4). ACM. [Link] 88-118.
ly/2UCEYHY Zubillaga, A., y Gortazar, L. (2020). Covid-19
Vlachopoulos, D., y Makri, A. (2019). Online y educación: Problemas, respuesas y
communication and interaction in escenarios. Fundación COTEC.
distance higher education: A framework

PERFIL ACADÉMICO Y PROFESIONAL DEL AUTOR

Marcelo Augusto Salica. Profesor e investigador de la Universidad Nacional

del Comahue (UNCo, Argentina). Su investigación se focaliza en los procesos de
enseñanza y aprendizaje de las ciencias naturales, en particular la física y la química
por medio de modelos tecnopedagógicos. En los últimos trabajos ha profundizado
en las analíticas del aprendizaje, en la carga cognitiva y las teorías del aprendizaje:
ubicuo, significativo, distribuido y colaborativo. [Link]
2652-0701
E-mail: profchelofca@[Link]

DIRECCIÓN DEL AUTOR

Facultad de Ciencias de la Educación
Universidad Nacional del Comahue
Hipólito Yrigoyen 2000
Cipolletti (Argentina)

Fecha de recepción del artículo: 28/09/2020

Fecha de aceptación del artículo: 02/12/2020
Fecha de aprobación para maquetación: 12/01/2021

284 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 265-284.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
I.S.S.N.: 1138-2783

El aula invertida como estrategia didáctica

para la generación de competencias: una
revisión sistemática
(The Flipped Classroom as a Didactic Strategy to Build
Competencies: a Systematic Review)

Valeria C. Sandobal Verón

Ma. Bianca Marín
Teresita H. Barrios
Universidad Tecnológica Nacional (Argentina)

DOI: [Link]

Cómo referenciar este artículo:

Sandobal Verón, V. C., Marín, M. B., y Barrios, T. H. (2021). El aula invertida como
estrategia didáctica para la generación de competencias: una revisión sistemática.
RIED. Revista Iberoamericana de Educación a Distancia, 24(2), pp. 285-308.
[Link]

Resumen

La clase o aula invertida es una estrategia que comenzó a utilizarse en el nivel superior
como una medida para mejorar el desempeño y la motivación de los alumnos. Como una
de las primeras actividades del proyecto de investigación en el cual se enmarca el presente
artículo, se realizó una búsqueda del estado del arte de la clase invertida en la educación
superior. Para esto se realizó una revisión sistemática de la literatura científica, con el objetivo
de conocer si ¿la metodología de aula invertida se aplica en la educación superior?, ¿cuáles son
las herramientas que se utilizan? y si ¿las mismas corresponden a la Web 3.0? Por otro lado,
se analizó si la aplicación de esta metodología genera competencias, tales como: aprender
en forma continua y autónoma; desempeñarse de manera efectiva en equipos de trabajo;
resolver problemas de ingeniería y utilizar de manera efectiva las técnicas y herramientas
de aplicación en la ingeniería que se corresponden con las competencias que se buscan en
el proyecto en cuestión. El artículo presenta los resultados de la revisión sistemática, de la
cual se desprende que el aula invertida se aplica en la educación en ingeniería, que se utilizan
diferentes herramientas; pero que esta implementación debe tener ciertas consideraciones
para ser aplicada con éxito, como son: la correcta planificación de las actividades a realizar
tanto por parte de los alumnos como de los docentes, el conocimiento de ambos actores sobre
la metodología a utilizar, entre otras.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(1), pp. 285-308.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 285
 V. Sandobal Verón; M. B. Marín; T. Barrios
El aula invertida como estrategia didáctica para la generación de competencias: una revisión sistemática

Palabras clave: habilidad; capacidad; ingeniería; estrategia de aprendizaje; universidad.

Abstract

Flipped classroom is a strategy that began to be used at the higher education as a measure
to improve the performance and motivation of students. As one of the first activities of the
research project in which this article is framed, a search was made of the state of the art of the
flipped classroom in higher education. For this, a systematic review of the scientific literature
was carried out, with the aim of knowing if the flipped classroom methodology is applied
in higher education, what tools are used and if they correspond to Web 3.0. On the other
side, it was analyzed whether the application of this methodology generates competencies,
such as: learning continuously and autonomously; perform effectively in work teams; solve
engineering problems and effectively use application techniques and tools in engineering;
which correspond to the competencies sought in the project under analysis. The article
presents the results of the systematic review, which shows that the flipped classroom is applied
in engineering education, that different tools are used but that this implementation must have
certain considerations to be applied successfully, such as: the correct planning of the activities
to be carried out by both the students and the teachers, the knowledge of both actors about the
methodology to be used, among others.

Keywords: know-how; ability; engineering; learning strategy; university.

Continuamente se busca mejorar el rendimiento académico de los alumnos,

que éstos se mantengan motivados para llevar a cabo las actividades propuestas y,
recientemente generar competencias que les permitan desenvolverse de manera
adecuada en el campo profesional. Para logarlo, se propone incorporar el uso de
las TIC como herramientas que propician el buen rendimiento de los alumnos y su
involucramiento. Ante estas iniciativas, los roles del alumno y del profesor han ido
cambiando, tanto es así, que el alumno pasa a tener una participación más activa y el
profesor actúa de tutor más que de expositor.
Una de las propuestas es el modelo que se denomina “Aula invertida” o “Clase
invertida” o “Flipped Classroom”, donde se utiliza la tecnología multimedia para
que los alumnos, antes de la clase, puedan incorporar los temas que serán luego
desarrollados de manera más práctica en la clase presencial. Dejando más tiempo
así, para las consultas, los intercambios de opiniones y el aprender haciendo.
Respecto al origen del concepto, fueron Jonathan Bergmann y Aaron Sams, dos
profesores de química de la Woodland Park High School en Colorado (EEUU), los
que consolidaron el término. Actuaron movidos por un objetivo común: conseguir
que los alumnos que por diversos motivos no habían podido asistir a clase fueran
capaces de seguir el ritmo del curso y no resultaran perjudicados por la falta
de asistencia. Para ello decidieron grabar los contenidos docentes a través de un
software que permitía capturar en vídeo las presentaciones en Power Point narradas,

286 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(1), pp. 285-308.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 V. Sandobal Verón; M. B. Marín; T. Barrios
El aula invertida como estrategia didáctica para la generación de competencias: una revisión sistemática

y distribuirlos entre sus alumnos. Sin embargo, poco a poco se dieron cuenta de que
las grabaciones no solo las utilizaban aquellos que no habían podido ir a clase, sino
la generalidad de sus estudiantes. De este modo comenzaron a invertir su método
de enseñanza remitiendo vídeos de las lecciones para que las visualizaran en casa
antes de la clase y reservando las horas presenciales para realizar proyectos con los
que poner en práctica los conocimientos adquiridos y resolver dudas relacionadas
con la materia explicada. Según estos autores −principales dirigentes de la Red de
Aprendizaje Flipped−

la Flipped Classroom es un enfoque pedagógico en el que la instrucción directa se

mueve desde el espacio de aprendizaje colectivo hacia el espacio de aprendizaje
individual, y el espacio resultante se transforma en un ambiente de aprendizaje
dinámico e interactivo en el que el educador guía a los estudiantes a medida que
se aplican los conceptos y puede participar creativamente en la materia (Berenguer
Albaladejo, 2016, p. 1468).

Actualmente, hay investigaciones como la de Rodríguez (2016) cuyo principal

objetivo es responder a la pregunta ¿De qué manera se evidencia aprendizaje
significativo a partir de la implementación y validación de un modelo Flipped
Classroom en un curso de Tecnología Educativa? La investigación busca comprender
la perspectiva de los participantes sobre el modelo. Entre los principales resultados
se evidenció una percepción positiva de la aplicación del modelo, y la comprensión
de las tareas tanto extraclase como interclase; se considera relevante la correcta
comunicación, la orientación del docente, el trabajo autónomo y colaborativo. En
el artículo publicado por Gunawardena y Liyanage (2018) bajo el título “Flipped
classroom using Social Networks: an investigation on learning styles” se investiga
sobre los estilos de aprendizaje que los alumnos utilizan en un entorno de aula
invertida, utilizando la red social Facebook y la plataforma Moodle que usualmente
utilizan.
Actualmente en Argentina, en la enseñanza de la Ingeniería; se está incursionando
en la generación de competencias en los alumnos. Podemos definir el concepto de
“Competencia” como la capacidad de articular eficazmente un conjunto de esquemas
(estructuras mentales) y valores, permitiendo movilizar (poner a disposición) distintos
saberes, en un determinado contexto con el fin de resolver situaciones profesionales.
Si se tiene en cuenta que se busca formar a los futuros ingenieros por competencias,
que se cuenta con las TIC que están incorporadas al aula, y que la aplicación del aula
invertida tiene entre sus objetivos el trabajo autónomo, colaborativo, buscar una
actitud analítica y crítica en el alumno; entonces es menester un trabajo que pretenda
analizar si el modelo de clase invertida propicia la generación de competencias en los
alumnos de Ingeniería en Sistemas de Información.
En este sentido se buscó evidencias al respecto, entre la que se puede destacar,
a nivel nacional, la experiencia desarrollada por Ponce et al. (2017), donde se lleva
a cabo la implementación de la clase invertida en el curso de Ambientación a la vida

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(1), pp. 285-308.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 287
 V. Sandobal Verón; M. B. Marín; T. Barrios
El aula invertida como estrategia didáctica para la generación de competencias: una revisión sistemática

universitaria -módulo matemática destinados a ingresantes a la Facultad de Ciencias

Agropecuarias de la Universidad Nacional de Entre Ríos. Los autores realizan un
análisis comparativo de resultados obtenidos con cortes anteriores, donde concluyen
que encuentran varias ventajas en la aplicación de este modelo, entre las que se
mencionan: la posibilidad de lograr un aprendizaje más profundo, la adquisición de
competencias transversales y el aumento de la motivación del estudiante.
Con el objetivo de conocer qué han desarrollado otros autores respecto a la
formación de competencias a través del aula invertida y descubrir otras experiencias
de implementación sobre aula invertida, se ha realizado una revisión sistemática de
la literatura, a través de una metodología confiable y ya probada que se presenta a
continuación. Teniendo en cuenta la metodología adoptada, el artículo se estructura
de la siguiente manera: en la sección 2 se realiza una descripción de la metodología,
en la sección 3 se muestran los resultados obtenidos que dan pie a la sección 4 que
permite realizar la discusión de la metodología analizada; y por último la sección 5
donde se describen conclusiones a partir de la contrastación de objetivos planteados
y resultados obtenidos.

METODOLOGÍA

La metodología utilizada para realizar el análisis del estado del arte es el

denominado proceso de revisión sistemática de la literatura (RSL), basado en la
propuesta de Kitchenham y Charters (2007) y, particularmente, la adaptación
hecha por Biolchini et al. (2005). Según los autores una revisión sistemática es
una metodología para realizar una investigación, que permite recopilar y evaluar
la evidencia disponible sobre un tema en particular. A diferencia con el proceso
habitual de revisión, en este caso, existen pasos definidos y estrictos que deben
respetarse para poder llevar a cabo el proceso. En la figura 1 pueden identificarse
las etapas propuestas para desarrollar el proceso de RSL: planificación, ejecución
y análisis de resultados. La cuarta etapa resguarda los resultados obtenidos en las
etapas de planificación, ejecución y análisis de los resultados; por lo cual se realiza
durante todo el proceso.

288 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(1), pp. 285-308.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 V. Sandobal Verón; M. B. Marín; T. Barrios
El aula invertida como estrategia didáctica para la generación de competencias: una revisión sistemática

Figura 1
Etapas del proceso RSL

Fuente: B. Kitchenham, B. Procedures for performing systematics reviews (2004)

Durante la etapa de planificación se definen los objetivos de la investigación y

cómo se llevará a cabo el proceso de revisión; para luego pasar a la ejecución de
lo planificado en donde se ejecuta la selección: en una primera instancia de los
estudios iniciales, luego la evaluación de calidad y a posteriori se analiza esta última
selección. Por último, se deberán analizar los resultados obtenidos, que surgen en
una primera instancia por todos los artículos que responden a la cadena de búsqueda
sugerida; luego definiendo el corte para el análisis más exhaustivo de los artículos
encontrados. En esta etapa, también se seleccionan aquellos artículos que cumplen
con los criterios de inclusión y se descartan aquellos según los criterios de exclusión,
para luego, evaluar los artículos seleccionados a partir de los criterios de evaluación.
Es importante tener en cuenta que todo debe ser documentado, en particular para
realizar este trabajo en una primera instancia se indicó de cada artículo encontrado:
título, año, fuente de dato, resumen, enlace del artículo y dónde fue publicado.
Luego, del primer filtro se resguardó: título, año, fuente de dato y autores.

Preguntas de investigación

El objetivo definido para esta RSL es el siguiente: “Identificar y analizar el

estado del arte de la aplicación de clase invertida en la generación de
competencias en la enseñanza de la ingeniería”. Luego, a partir del objetivo
propuesto se definieron las siguientes preguntas de investigación (PI):

PI1: ¿Se utiliza la metodología de clase invertida en la educación superior y

en particular en la formación de ingenieros? Se conoce evidencia de que la clase
invertida es una metodología que actualmente se está aplicando a la educación
superior, pero en particular se quiere indagar si esta metodología es utilizada en la
formación de ingenieros.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(1), pp. 285-308.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 289
 V. Sandobal Verón; M. B. Marín; T. Barrios
El aula invertida como estrategia didáctica para la generación de competencias: una revisión sistemática

PI2: ¿Las clases invertidas generan competencias en los alumnos? ¿Qué tipo de
competencias? En especial interesa conocer si el hecho de invertir la clase permite
generar competencias en los alumnos y en el caso de que las generen cuáles son esas
competencias. En este sentido, se busca en los artículos, la existencia de evidencias
sobre la generación de competencias tales como: aprender de forma continua y
autónoma; desempeñarse de manera efectiva en equipo de trabajo; identificar,
formular y resolver problemas de ingeniería; y utilizar de manera efectiva las técnicas
y herramientas de aplicación en la ingeniería.
PI3: ¿Qué herramientas de la web 3.0 se aplican en la implementación de la
clase invertida en la educación superior para generar competencias? Luego de
haber determinado que la clase invertida se utiliza en la educación superior para
la formación de ingenieros y que generan competencias en los alumnos interesa
conocer cuáles son las herramientas de la web 3.0 que permiten llevar a cabo la
implementación de la clase invertida.

Fuentes de datos

La etapa de planificación incluye la selección de las bases de datos en las cuales

se realizará la búsqueda de trabajos relacionados. Se seleccionaron las siguientes
bases de datos para realizar el estudio de revisión sistemática (se indica nombre de
base de datos y URL):

• ACM Digital Library (en adelante ACM): [Link]

• Google Académico: [Link]
• IEEE Xplore Digital Library (en adelante IEEE): [Link]
Xplore/[Link]
• Springer Link (en adelante Springer): [Link]
• Science Direct (en adelante SD): [Link]
• Redalyc: [Link]

Al definir las cadenas de búsqueda se pretende alcanzar las palabras claves

definidas por el objetivo de investigación, las cuales están conformadas por:

• Aula invertida  flipped classroom

• Ingeniería  engineering
• Competencias  soft skills, performance, abilities, self-regulated learning

Luego de varias iteraciones buscando la mejor opción para la cadena de búsqueda

se definió la siguiente:

290 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(1), pp. 285-308.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 V. Sandobal Verón; M. B. Marín; T. Barrios
El aula invertida como estrategia didáctica para la generación de competencias: una revisión sistemática

flipped classroom+engineering + [Publication Date from (01/01/2017]

Las cadenas de búsqueda adaptadas, de acuerdo con la sintaxis de cada fuente de

datos se muestra en la tabla 1.

Tabla 1
Bases de datos con sus respectivas cadenas de búsqueda y alcance

Bases de datos Cadena de búsqueda Alcance

[All: “flipped classroom”] AND [All: “soft skills”] AND
ACM [All: engineering] AND [Publication Date: (01/01/2017 TO Todo
04/30/2020)]
Google Academic flipped+classroom+engineering Todo
((“Abstract”:flipped classroom) AND “Full Text Abstract
IEEE
Only”:engineer) Texto
SD flipped classroom+engineering Todo
flipped AND classroom AND engineer’
Springer Todo
Within 2017-2020
Redalyc flipped classroom+engineering Todo

En el caso particular de la fuente de datos Redalyc se incluyen filtros adicionales

tales como: educación, psicología, ingeniería, y varios no especificados exactamente;
para ajustar la búsqueda a los objetivos propuestos. Para la fuente de datos de Google
Academic se filtraron artículos únicamente en español y no se incluyeron citas y
patentes con el fin de que la búsqueda arroje resultados acordes a los objetivos de la
investigación.

Criterios de inclusión y exclusión

Al realizar la búsqueda puede haber resultados que no cumplan con las

condiciones para ser analizadas y tenidas en cuenta dentro de la RSL, por lo cual se
establecieron criterios de inclusión y exclusión. Siguiendo a Kitchenham y Charters
(2007), estos criterios se establecen a partir de las preguntas de investigación para
poder filtrar los estudios obtenidos.
Con base en lo anterior, se incluyeron aquellos estudios que cumplan con al
menos 1 de los siguientes criterios:

• En el título y en las palabras claves identificar palabras relacionadas con el

estudio como ser clase invertida (o aula invertida) o ingeniería.
• En el abstract, identificar el objetivo del mismo, y si se realiza una aplicación
práctica del aula invertida, es decir, el estudio no solo propone una manera de
aplicar aula invertida, sino que muestra los resultados de implementarla.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(1), pp. 285-308.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 291
 V. Sandobal Verón; M. B. Marín; T. Barrios
El aula invertida como estrategia didáctica para la generación de competencias: una revisión sistemática

• Artículos escritos en inglés o español

Respecto a los criterios de exclusión, se propusieron los siguientes:
• Artículos que no fueran revisiones sistemáticas
• Artículos cuyas investigaciones fueran aplicadas en educación superior de grado

Evaluación de calidad

Dentro del proceso de revisión sistemática, se realizó la evaluación de calidad

de los estudios primarios, de manera tal de poder seleccionar aquellos mejores
resultados que luego permitieran interpretar los resultados sin confusiones e
interferencias, permitiendo guiar correctamente el proceso de investigación (Carrizo
y Moller, 2018).
Con los artículos que quedaron seleccionados, luego de los criterios de inclusión
y exclusión, se realizó la verificación de calidad. Los autores Kitchenham y Charters
(2007) definieron 6 preguntas de verificación de calidad.
Las preguntas de calidad que se contestaron luego de la lectura de cada uno de
los artículos fueron:

• VC1. ¿Cuán claro y coherente es el estudio?

• VC2. ¿Cuán claro es el objetivo del estudio?
• VC3. ¿Qué tan clara es la relación de trazabilidad entre el objetivo del estudio y
sus conclusiones?
• VC4. ¿Cuán claro es el proceso de investigación?
• VC5. ¿Qué tan bueno es el estudio comparado con otros relacionados?
• VC6. ¿Cuán claro están definidas las limitaciones del estudio?

Cada una de las preguntas se evalúo con la siguiente puntuación: cumple

totalmente = 1, cumple parcialmente = 0.5 y no cumple = 0.

Extracción de datos y análisis

Esta etapa reúne toda la información de los artículos seleccionados que dan
respuesta a las preguntas de investigación. En una primera etapa del proceso se
agrupó información básica de cada uno de los artículos que permitan identificar a
los mismos, como ser:

• Identificación
• Título
• Bases de datos
• Abstract
• Publicado en (conferencia, revista, entre otros) y año de publicación

292 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(1), pp. 285-308.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 V. Sandobal Verón; M. B. Marín; T. Barrios
El aula invertida como estrategia didáctica para la generación de competencias: una revisión sistemática

Luego, para un mejor entendimiento de cada uno de los artículos se realizó una
lectura comprensiva de los mismos para poder identificar: las herramientas que se
utilizaron, cómo se llevó a cabo la práctica en el aula, si los resultados obtenidos fueron
exitosos, si tuvieron que hacer redefiniciones sobre la propuesta inicial y cuáles se
consideran como ventajas y desventajas de la aplicación del flipped-learning.

Proceso que conduce la revisión

En forma resumida se detalla la secuencia de pasos utilizada para el proceso de

revisión:

• Paso N°1: Selección de las bases de datos: esto se realizó según el ámbito en
donde se enmarcan los estudios y el objetivo buscado.
• Paso N°2: Selección de las preguntas de investigación: se escogieron aquellas
preguntas que respondieron a los objetivos de la investigación y que permitieran
guiar el proceso de búsqueda adecuadamente.
• Paso N°3: Selección de cadena de búsquedas: se propuso inicialmente un conjunto
de palabras claves que se consideraron relevantes para realizar las búsquedas.
Al realizar búsquedas de prueba se obtuvieron resultados no deseados, por esto
se fueron refinando las cadenas de búsquedas hasta seleccionar la que arrojaba
valores más representativos.
• Paso N°4: Resultados por aplicación de cadena de búsqueda: se aplicó la cadena
de búsqueda seleccionada en el paso N°3 a las bases de datos seleccionadas en el
paso N°1 y se obtuvieron los primeros resultados.
• Paso N°5: Selección de criterios de inclusión y exclusión: se definieron los
criterios de inclusión y exclusión que permitieran obtener los artículos más
adecuados para realizar el análisis final.
• Paso N°6: Resultados por criterios de exclusión e inclusión: se emplearon los
criterios de inclusión y exclusión seleccionados en el paso N°5 a los resultados
obtenidos en paso N°4, mediante la lectura del resumen y las conclusiones de
cada artículo y se obtuvieron aquellos que se encuentran más relacionados con
los objetivos propuestos. En la tabla 2 “Resumen de artículos encontrados,
analizados, relevantes y primarios por base de datos”, se los puede visualizar en
la columna “Relevantes”.
• Paso N°7: Resultados del análisis completo de artículos: nuevamente se aplicaron
los criterios de inclusión y exclusión, a los resultados obtenidos en el Paso N°6,
pero realizando una lectura completa de cada uno de los artículos, obteniéndose
nuevos resultados que son los que figuran en la tabla 2, en la columna “Primarios”.
• Paso N°8: Resultados por criterios de calidad: se utilizaron los criterios de
calidad a los resultados obtenidos en el paso N°7. De la evaluación de calidad
de los artículos, se obtuvieron nuevos resultados, aplicándose las preguntas de

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(1), pp. 285-308.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 293
 V. Sandobal Verón; M. B. Marín; T. Barrios
El aula invertida como estrategia didáctica para la generación de competencias: una revisión sistemática

investigación definidas en el punto N°2, a aquellos que pasaron el porcentaje

mínimo definido por el equipo (75 %).
• Paso N°9: Resultados Finales: se contestaron las preguntas de investigación
definidas en el punto N°2, con los artículos que pasaron el porcentaje mínimo
de calidad definido, los cuales permitirán conducir las propuestas a realizar en el
marco del proyecto de aula invertida.

RESULTADOS

Búsqueda y selección primaria

Como se mencionó anteriormente, el primer paso fue ejecutar la búsqueda en

cada fuente de datos con la correspondiente cadena de búsqueda adaptada a la
sintaxis de cada motor. La tabla 2 resume los resultados obtenidos luego de realizar
la búsqueda con la cadena definida. Se obtuvieron 17 389 resultados.
La segunda columna de la tabla 2 muestra los resultados de cada base de datos;
la tercera columna muestra los resultados analizados, donde se consideró en la
mayoría de las bases de datos los primeros 50, teniendo en cuenta la cantidad de
resultados obtenidos y que los mismos se encuentran filtrados por relevancia. En
el caso de Redalyc, se consideraron 72 resultados, ya que fueron incluidas aquellas
disciplinas relacionadas con el estudio (educación, psicología, entre otros). En el
caso de Science Direct, únicamente 43 resultados, que fueron los que cumplieron las
siguientes condiciones: “Flipped Classroom” en título y abstract + “engineering” en
texto completo.
En la cuarta columna se indica la cantidad de artículos relevantes, es decir,
aquellos que han pasado por los criterios de inclusión y exclusión. Este proceso se
realizó teniendo en cuenta título y abstract de los artículos. Se seleccionaron solo
118 artículos, de estos últimos se encontraron 2 repetidos, por lo cual el total a
analizar con lectura completa es de 116. Luego, al realizar la lectura completa de los
artículos se puede aplicar nuevamente criterios de exclusión, por lo cual la cantidad
de estudios primarios es de 95 como se muestra en la columna cinco.

Tabla 2
Resumen de artículos encontrados, analizados, relevantes y primarios por base de
datos

BD Encontrados Analizados Relevantes Primarios

ACM 152 50 12 9
Google Academic 16400 50 15 13
IEEE 108 50 26 21
Springer 346 50 21 19

294 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(1), pp. 285-308.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 V. Sandobal Verón; M. B. Marín; T. Barrios
El aula invertida como estrategia didáctica para la generación de competencias: una revisión sistemática

BD Encontrados Analizados Relevantes Primarios

Science Direct 281 43 22 13
Redalyc 102 72 22 20
TOTALES 17389 315 118 95

Ahora bien, si se tuviera que analizar la relevancia de cada fuente de dato, se

podría afirmar que Redalyc y la IEEE han tenido porcentajes de relevancia similares
entre un 21% y 24%. La figura 2 muestra las relaciones entre la cantidad de estudios
encontrados y relevantes, donde se puede notar una clara relevancia de las dos
fuentes antes mencionadas. Además, queda en evidencia el porcentaje de artículos
relevantes (en la figura mostrada en naranja) sobre la enorme cantidad de artículos
encontrados según las cadenas de búsquedas seleccionadas.

Figura 2
Relación entre artículos encontrados y relevantes por Base de Dato

Resultados de la evaluación de calidad

Con los artículos seleccionados en la etapa anterior, se realizó la evaluación de la

calidad de estos, con las preguntas definidas en la sección 2.4.
Al realizar la evaluación de calidad de los 95 artículos, solo 37 fueron los
que obtuvieron un porcentaje mayor o igual al 75%. Estos artículos son los que

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(1), pp. 285-308.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 295
 V. Sandobal Verón; M. B. Marín; T. Barrios
El aula invertida como estrategia didáctica para la generación de competencias: una revisión sistemática

permitieron responder a las preguntas de investigación definidas en la sección 2.1.

En la tabla 3 se muestran los artículos finalmente seleccionados.

Tabla 3
Artículos seleccionados

Título Año
Impacts of a flipped classroom with a smart learning diagnosis system on students’
learning performance, perception, and problem solving ability in a software 2019
engineering course. (Lin, Y. T.)
On the relationships between behaviors and achievement in technology-mediated
2019
flipped classrooms: A two-phase online behavioral PLS-SEM model (Wang, F. H.)
A successful experience with the flipped classroom in the Transport Phenomena
2019
course. (Valero, M.M., Martínez, M., Pozo, F. y Planas E.)
Perception and performance in a flipped Financial Mathematics classroom.
2018
(Lopes, A. P. y Soares, F.)
The role of self-regulated learning in students’ success in flipped undergraduate
2018
math courses. (Sun, Z., Xie, K. y Anderman, L. H.)
Effectiveness of flip teaching on engineering students’ performance in the physics
lab. (Gómez-Tejedor, J. A., Vidaurre, A., Tort-Ausina, I., Molina-Mateo, J.,
2020
Serrano, M. A., Meseguer-Dueñas, J. M., Martínez Sala, R.M., Quiles, S. y Riera,
J.)
Micro flip teaching ‒ An innovative model to promote the active involvement of
students. (Fidalgo-Blanco, A., Martínez-Nuñez, M., Borrás-Gene, O. y Sánchez- 2017
Medina, J. J.)
Impact of partially flipped instruction on immediate and subsequent course
performance in a large undergraduate chemistry course. (He, W., Holton, A. J. y 2018
Farkas, G.)
Perspectiva estudiantil del modelo pedagógico flipped classroom o aula invertida
en el aprendizaje del inglés como lengua extranjera. (Aguayo Vergara, M., Bravo 2019
Molina, M., Nocetti de la Barra, A., Concha Sarabia L. y Aburto Godoy, R.)
Clase invertida para el desarrollo de la competencia: uso de la tecnología en
2020
estudiantes de preparatoria. (Flores, L.G., Veytia Bucheli, M. G y Moreno Tapia, J.)
El aula presencial, semipresencial, virtual e invertida: Un estudio comparativo de
2019
métodos didácticos en la enseñanza de L2. (Bachelor, J. W.)
Experiencia del aula invertida para promover estudiantes prosumidores del nivel
2019
superior. (Fernández, M. O. G. y Gaytan, P. H.)
La clase invertida en la educación superior: percepciones del alumnado. (Vera, G.
2018
A., Lledó, A. L., Puerta, M. G. y Lledó G.L.)
Implementación de aula invertida en un curso propedéutico de habilidad
matemática en bachillerato. (Madrid García, E. M., Angulo Armenta, J., Prieto 2018
Méndez, M. E., Fernández Nistal, M. T., y Olivares Carmona, K. M.)

296 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(1), pp. 285-308.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 V. Sandobal Verón; M. B. Marín; T. Barrios
El aula invertida como estrategia didáctica para la generación de competencias: una revisión sistemática

Título Año
Aprendizaje invertido para la mejora y logro de metas de aprendizaje en el Curso
de Metodología de la Investigación en estudiantes de universidad. (Matzumura-
2018
Kasano, J. P., Gutiérrez-Crespo, H., Zamudio-Eslava, L. A. y Zavala-Gonzales, J.
C.)
Integración de TIC de la Web 2.0 en el campus virtual universitario de la UCLM.
2018
(Estudio inter-sujetos). (Ruiz, A. P., Martínez, A. C. y Perales, R. G.)
Estudio de caso del modelo clase invertida en un curso de mecánica de cuerpos
2019
rígidos. (Ramírez, Y. G.)
Effect of Instructional Methods on Student Performance in Flipped Classroom.
2019
(Nwokeji, J. C., Stachel, R. y Holmes, T.)
Analyses of possibilities of Flipped Classroom in Teaching Computer Science
2019
Courses. (Fetaji, M., Fetaji, B. y Ebibi, M.)
Improving student learning in an introductory programming course using flipped
2017
classroom and competency framework. (Elmaleh, J., y Shankararaman, V.)
The Self-Flipped Classroom Concept: Underlying Ideas and Experiences.
2018
(Vasilchenko, A., Cajander, Å., Daniels, M. y Balaam, M.)
Impact of Flipped Physics Classes on the Performance of Engineering Students:
2019
University of Sharjah Case Study. (Elmehdi, H. M., Dalah, E. Z. e Ibrahem, A. M.)
Classroom partial flip for feedback control systems: A biomedical engineering
2017
experience. (de Moura Oliveira, P. B. y Cunha, J. B.)
Supporting Intensive Continuous Assessment With BeA in a Flipped Classroom
Experience. (Llamas-Nistal, M., Mikic-Fonte, F. A., Caeiro-Rodríguez, M. y Liz- 2019
Domínguez, M.)
Learning gain study in a strategy of flipped learning in the undergraduate level.
2019
(Juárez, G. H. y Herrera, L. M. M.)
Investigating Flipped Learning: Student Self-Regulated Learning, Perceptions, and
2017
Achievement in an Introductory Biology Course. (Sletten, S. R.)
Using Open-Source Videos to Flip a First-Year College Physics Class. (Robinson, F.
2020
J., Reeves, P. M., Caines, H. L. y De Grandi, C.)
Research on blended teaching model in the teaching of ‘micro-controller principles
2018
and applications’. (Tong, Y. y Song, P.)
Improving Classroom Preparedness Using Guided Practice. (Garcia, S.) 2018
Analytics of Learning Strategies: Associations with Academic Performance and
2019
Feedback. (Matcha, W., Gašević, D., Uzir, N. A. A., Jovanović, J. y Pardo, A.)
Implementación de flipped classroom enfocado a los estudiantes de Ingeniería
de software: caso universidad ecuatoriana. (Álvarez, D. M. L., Aguilar, G. F. C., 2020
Conforme, N. C. R. y Alcívar, I. A. M.)
Flipped classroom como estrategia metodológica para mejorar la competencia
en trabajo grupal en didáctica de la matemática. (Sánchez-Cruzado, C., Sánchez- 2018
Compaña, T. y Macías-García, J. A.)

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(1), pp. 285-308.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 297
 V. Sandobal Verón; M. B. Marín; T. Barrios
El aula invertida como estrategia didáctica para la generación de competencias: una revisión sistemática

Título Año
Desarrollo de competencias genéricas mediante flipped classroom y el uso de
herramientas web 2.0 en el marco de trabajos colaborativos en educación superior. 2017
(Biel, P., Pérez Sinusía, E., Serrano, A., y Rodrigo, C.)
Flipped classroom y el efecto en las competencias transversales de los alumnos del
curso de electricidad y electrónica industrial en una universidad pública de Lima. 2018
(Benites Yarleque, J. V.)
Método para Promover el Aprendizaje Colaborativo en Ingeniería de Software.
2019
(Cornide-Reyes, H. C. y Villarroel, R. H.)
Ecuaciones diferenciales con aula invertida. (Jambrina, L. F.) 2017
Aprendizaje invertido con Elevator Pitch y Pecha Kucha. (Romero, E., Artal, J. S.,
2017
Artacho, J. M. y García Aranda, J. R.)

DISCUSIÓN

En esta sección se responderá a las preguntas de investigación planteadas en

la sección 2.1, para ello se usarán los artículos seleccionados en la sección anterior.

PI.1 ¿Se utiliza la metodología de clase invertida en la educación superior o en la

formación de ingenieros?

En una primera instancia se busca que la clase invertida se haya aplicado a la

educación superior. Sin embargo, dentro de esta muestra interesa conocer aquellas
experiencias que fueron aplicadas directamente a la formación de ingenieros, es así
como en 18 artículos se encuentran experiencias que han aplicado la metodología de
aula invertida en carreras de ingeniería. En la figura 3 se puede visualizar la relación
entre el total de artículos que han pasado los criterios de calidad, aquellos que se
enfocan en la aplicación en carreras de Ingeniería y cuáles fueron las bases de datos
en las que estos artículos fueron encontrados.

298 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(1), pp. 285-308.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 V. Sandobal Verón; M. B. Marín; T. Barrios
El aula invertida como estrategia didáctica para la generación de competencias: una revisión sistemática

Figura 3
Relación entre artículos totales, artículos aplicados a Ingeniería y bases de datos

Si se profundiza aún más en las experiencias, es posible encontrar 7 que lo

aplican directamente a materias que están relacionadas con la carrera Ingeniería en
Sistemas de Información y afines.

PI.2 ¿Las clases invertidas generan competencias en los alumnos? ¿Qué tipo de
competencias?

En especial interesa conocer si el hecho de invertir la clase permite generar

competencias en los alumnos y en el caso de que las generen cuáles son esas
competencias. En este sentido, se buscará en la evidencia de los artículos la generación
de competencias tales como: aprender de forma continua y autónoma; desempeñarse
de manera efectiva en equipo de trabajo; identificar, formular y resolver problemas
de ingeniería; y utilizar de manera efectiva las técnicas y herramientas de aplicación
en la ingeniería. En cuanto a las competencias seleccionadas, se identificaron por
un lado aquellas que son competencias sociales, políticas y actitudinales, que son
transversales a la mayoría de las materias para la formación de los alumnos en la
carrera que se tomará como muestra para el proyecto de investigación que se está
realizando. Luego, por el lado de las competencias tecnológicas se tomaron dos de
las que son comunes en las materias que se tomarán de referencia. En la figura 4
se puede visualizar las competencias generadas según los artículos analizados; en
donde se observa un mayor porcentaje en cuanto a la búsqueda de motivación.
Luego, el aprendizaje autónomo, y en menor medida la resolución de problemas, el
trabajo colaborativo y la comunicación efectiva.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(1), pp. 285-308.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 299
 V. Sandobal Verón; M. B. Marín; T. Barrios
El aula invertida como estrategia didáctica para la generación de competencias: una revisión sistemática

Figura 4
Competencias encontradas en los artículos analizados

PI.3 ¿Qué herramientas de la web 3.0 se aplican en la implementación de la clase

invertida en la educación superior para generar competencias?

Las herramientas más utilizadas para invertir el aula, según los artículos
analizados durante el proceso de revisión sistemática, fueron los videos. A su
vez se puede mencionar otras herramientas, como ser Prezi, Genially, Moovly
o PowToon mencionadas en el artículo Biel et al. (2017), PlayPosit, Kahoot y
Socrative mencionadas en el artículo de Álvarez et al. (2020) y blogs, animaciones,
podcast, wikis, resúmenes interactivos y juegos digitales mencionados en el artículo
de Vasilchenko (2018), entre otras. A su vez se proponen métodos como ser el
desarrollado por Cornide-Reyes y Villarroel (2019) que utiliza Byos (Build Your Own
Scrum, Crea tu propio Scrum), para la materia de Ingeniería de Software.
Todas estas herramientas e implementaciones resultan muy interesantes e
innovadoras a la hora de seleccionar una solución adecuada para invertir la clase, que
implican un desafío y compromiso para motivar al alumno en la implementación de la
metodología. En la mayoría de los casos se menciona la importancia del compromiso
docente en la implementación, manifiesto en la información y formación que hace de
sus alumnos para trabajar con esta estrategia.
Ahora bien, estas experiencias no nos permiten responder a PI3, ya que lo que
se busca es la implementación de herramientas de la web 3.0 como ser Facebook,
Instagram, Google+, Twitter, entre otras. Se considera que las redes sociales
pueden ser una herramienta posible de utilizar en la aplicación de la clase invertida

300 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(1), pp. 285-308.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 V. Sandobal Verón; M. B. Marín; T. Barrios
El aula invertida como estrategia didáctica para la generación de competencias: una revisión sistemática

considerando que según el estudio realizado por Xie (2019) en Argentina el 78% de
la población es usuario de internet, y de ese porcentaje el 76% son usuarios de redes
sociales. Aún más los jóvenes que se encuentran habituados a la utilización de estas
herramientas.

CONCLUSIONES

La revisión sistemática surge con el objetivo de determinar cuál es el estado

del arte en lo referente a la utilización de las aulas invertidas para la formación
de competencias en estudiantes universitarios. “Analizar, apropiar, aplicar y
contextualizar referentes teóricos y procedimentales sobre estado del arte y revisión
sistemática de literatura se constituyen como bases sólidas para la generación de una
metodología de RAD” (Chacón et al., 2013, p. 101).
Habiéndose realizado un análisis exhaustivo donde se seleccionaron 6 bases de
datos y cadenas de búsqueda adaptadas a cada una de ellas, y habiéndose definido
criterios de inclusión y exclusión, se pudieron seleccionar estudios que luego
fueron evaluados según criterios de calidad, que al finalizar dieron como resultado
37 artículos. Esto nos permite visualizar que la temática se encuentra en estudio
y crecimiento; haciendo una salvedad: pocos de estos estudios fueron aplicados a
carreras de ingeniería y menos aún de Ingeniería en sistemas de información o afines.
Las competencias mayormente referenciadas en los distintos artículos se pueden
destacar: comunicación, autorregulación, trabajo en equipo, creatividad, entre otras;
todas ellas competencias deseables de desarrollar en un estudiante universitario,
que fueron incluidas en el proyecto de investigación en curso.
La mayoría de los artículos mencionan la motivación de los alumnos, que si
bien, no es una competencia explícitamente indicada en el trabajo de investigación
resulta de vital importancia porque al aplicar la clase invertida se pretende un
cambio de paradigma, sobre todo en cuanto al tipo de participación de los actores
involucrados. En 3 casos de aplicación de la clase invertida en Ingeniería en Sistemas
de Información o carrera afines se menciona como positiva esta competencia. Se
destaca el caso de Tong y Song (2018) donde se implementa blended-learning
combinando el aprendizaje basado en proyectos, aprendizaje colaborativo y aula
invertida en un curso para comprender y aplicar microcontroladores, donde la pre-
clase está más relacionada con la comprensión de conceptos teóricos, para luego
durante la clase desarrollar la implementación de esos conceptos comprendidos.
Luego, la experiencia presentada por Álvarez et al. (2020) desarrollada en la
asignatura Ingeniería de Software que, según los mismos autores, generalmente es
una materia que presenta poco interés por parte de los alumnos por la carga teórica
de la misma. Al realizar la experiencia no solo pudieron notar un aumento en la
motivación de los alumnos, sino también un notable mejoramiento del rendimiento
académico.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(1), pp. 285-308.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 301
 V. Sandobal Verón; M. B. Marín; T. Barrios
El aula invertida como estrategia didáctica para la generación de competencias: una revisión sistemática

Por último, la implementación de aula invertida combinada con Scrum en

la carrera de Ingeniería de Software desarrollada por Cornide-Reyes y Villarroel
(2019), menciona los resultados alentadores en la motivación de los alumnos, tanto
para la comprensión de los contenidos como para el desarrollo de las actividades
propuestas.
El aprendizaje de forma continua y autónoma (aprendizaje autónomo o aprendizaje
autorregulado o aprendizaje autogestionado y autoaprendizaje) se destaca como
una competencia alcanzada satisfactoriamente en 14 de los estudios analizados.
Pueden mencionarse estudios donde se enfatiza la responsabilidad asumida por
los estudiantes en el proceso de aprendizaje, tal es la experiencia presentada por
Matzumura-Kasano et al. (2018, p. 14) quienes entre sus conclusiones afirman que
el “estudiantado asume la responsabilidad de construir, entender el conocimiento,
reflexionan para crear significado y participar activamente …”. Asimismo, en Ramírez
(2019) se manifiesta que los estudiantes fueron más conscientes de sus propios
aprendizajes. En este mismo sentido, en Lopes y Soares (2018) se observa que los
alumnos asumen la responsabilidad de sus propios aprendizajes y ven reflejados
esos aprendizajes en los resultados obtenidos.
Desempeñarse de manera efectiva en equipos o trabajo colaborativo, se
encuentran explícitamente mencionados como competencia generada y con
resultados positivos luego de la implementación del aula invertida, en 6 de los casos.
Si se toman los que se aplicaron en carreras de Ingeniería en sistemas de información
o afines, se destacan 2 trabajos: en Nwokeji et al. (2019) se menciona como un factor
importante al momento de realizar proyectos. También, Cornide-Reyes y Villarroel
(2019) mencionan el trabajo en equipo de vital importancia, teniendo en cuenta que
se mezcla la metodología de aula invertida con la práctica ágil Scrum. En esta última
se tiene como base el trabajo en equipo buscando como principales características
los equipos autogestionados y multifuncionales.
Si se toma como base, que la implementación del aula invertida tiene como
una de sus principales actividades durante la clase la aplicación práctica de los
temas de las materias; es de suponer que se podría llegar a generar la competencia
de resolución de conflictos en los alumnos. Sin embargo, de manera explícita esta
competencia es mencionada en 5 artículos. Lin (2019) se refiere a que el sistema
propuesto beneficia a los estudiantes con respecto a la capacidad para la resolución
de problemas. También, en Matzumura-Kasano et al. (2018) se la presenta como
una posibilidad de participación activa de los estudiantes que los lleva a resolver
de manera adecuada las prácticas propuestas. En el caso de Wang (2019), sugiere
que la resolución de problemas en clase actúa como motivador para la conducta de
aprendizaje de los alumnos fuera de clase, y como para consolidar lo aprendido luego
de la clase.
Si bien, la competencia de comunicarse de manera efectiva no fue incluida
como una de las competencias seleccionadas para el desarrollo del proyecto
de investigación; surge durante el análisis, que 8 de los estudios analizados la

302 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(1), pp. 285-308.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 V. Sandobal Verón; M. B. Marín; T. Barrios
El aula invertida como estrategia didáctica para la generación de competencias: una revisión sistemática

mencionan. En la experiencia desarrollada por Ruiz et al. (2018, p. 112), se expresa

que la aplicación del aula invertida permite a los alumnos realizar “un trabajo más
visual, intuitivo, colaborativo y con mayor compromiso e implicación, facilitando
una verdadera comunicación multidireccional entre los alumnos”. Para Biel et al.
(2017), la competencia de comunicación oral se genera a través de la utilización
de herramientas de la Web 2.0. Según la percepción de los alumnos, impactó
positivamente en esta competencia el uso de dichas herramientas al momento de
realizar la presentación de resultados de sus aprendizajes. Por último, Juárez y
Herrera (2019), según la experiencia realizada, explican que la aplicación del aula
invertida tiene efectos positivos en los alumnos al responsabilizarlos de sus progresos
y la posibilidad que este compromiso los lleva a mejorar la forma de interactuar y
comunicarse con sus pares y profesores.
Si bien no se considera en el proyecto de investigación la generación de
competencias digitales, la misma es mencionada explícitamente en 4 de los estudios
analizados (Juárez y Herrera, 2019; Álvarez et al., 2020; Sánchez-Cruzado et al.,
2018; Biel et al., 2017), entendiéndose como competencia digital, la posibilidad
que los alumnos tienen de utilizar las nuevas tecnologías para realizar de manera
autónoma sus actividades. En este sentido, se puede considerar de vital importancia
para obtener resultados positivos que los alumnos conozcan las herramientas con las
que deberán trabajar para que realmente constituya una ventaja y no una desventaja
usar las mismas.
En cuanto a las herramientas de la web 3.0 no son utilizadas en los estudios
analizados, sin embargo, las herramientas empleadas son diversas. En su mayoría
coinciden en el uso de videos y otras utilizadas para su creación y edición, así como
campus virtual. A su vez, el estudio realizado permite conocer nuevas variantes,
por lo cual se puede concluir que se deben seleccionar las herramientas según las
características del entorno en donde deban aplicarse.
A partir de los artículos analizados se recomienda que, al momento de implementar
el aula invertida es necesario tener en cuenta las siguientes consideraciones:

• Correcta planificación de las actividades a desarrollar por: los alumnos antes,

durante y después de clase; por los profesores para diseñar los recursos a utilizar
y las actividades a desarrollar.
• Conocimiento de la metodología a usar en clase. Incluida la obligatoriedad o no
de las actividades propuestas.
• Contextualizar la propuesta al entorno en el que se va a aplicar, teniendo en
cuenta la disponibilidad de recursos para todos los actores.
• Definir rúbricas de evaluación donde se consideren las competencias que serán
evaluadas; y cómo serán evaluadas, las cuales deben ser conocidas por los
estudiantes antes de comenzar el dictado de la asignatura.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(1), pp. 285-308.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 303
 V. Sandobal Verón; M. B. Marín; T. Barrios
El aula invertida como estrategia didáctica para la generación de competencias: una revisión sistemática

REFERENCIAS

Aguayo Vergara, M., Bravo Molina, M., Biolchini, J., Mian, P. G., Natali, A. C. C.,
Nocetti de la Barra, A., Concha Sarabia, y Travassos, G. H. (2005). Systematic
L., y Aburto Godoy, R. (2019). Perspectiva review in software engineering. System
estudiantil del modelo pedagógico Engineering and Computer Science
flipped classroom o aula invertida en Department COPPE/UFRJ. Technical
el aprendizaje del inglés como lengua Report ES, 679(05), 45.
extranjera. Revista Educación, 43(1), Carrizo, D., y Moller, C. (2018). Estructuras
97-113. [Link] metodológicas de revisiones sistemáticas
v43i1.31529 de literatura en Ingeniería de Software: un
Álvarez, D. M. L., Aguilar, G. F. C., Conforme, estudio de mapeo sistemático. Ingeniare.
N. C. R., y Alcívar, I. A. M. (2020). Revista chilena de ingeniería, 26, 45-
Implementación de flipped classroom 54. [Link]
enfocado a los estudiantes de Ingeniería 33052018000500045
de software: caso universidad ecuatoriana. Chacón, J. W. B., Herrera, J. C. B., y
Revista Científica Ecociencia, 7(3), Villabona, M. R. (2013). Revisión y
1-18. [Link] análisis documental para estado del
ecociencia.73.311 arte: una propuesta metodológica desde
Bachelor, J. W. (2019). El aula presencial, el contexto de la sistematización de
semipresencial, virtual e invertida: experiencias educativas. Investigación
Un estudio comparativo de métodos Bibliotecológica: archivonomía,
didácticos en la enseñanza de L2. Revista bibliotecología e información, 27(61),
Educación, 43(2), 541-553. [Link] 83-105. [Link]
org/10.15517/revedu.v43i2.34014 358X(13)72555-3
Benites Yarleque, J. V. (2018). Flipped Cornide-Reyes, H. C., y Villarroel, R.
classroom y el efecto en las competencias H. (2019). Método para Promover el
transversales de los alumnos del curso de Aprendizaje Colaborativo en Ingeniería
electricidad y electrónica industrial en de Software. Formación universitaria,
una universidad pública de Lima. 12(4), 3-12. [Link]
Berenguer Albaladejo, C. (2016). Acerca de S0718-50062019000400003
la utilidad del aula invertida o flipped de Moura Oliveira, P. B., y Cunha, J. B. (2017,
classroom. XIV Jornadas de Redes de July). Classroom partial flip for feedback
Investigación en Docencia Universitaria. control systems: A biomedical engineering
Universidad de Alicante. experience. En 2017 25th Mediterranean
Biel, P., Pérez Sinusía, E., Serrano, A., Conference on Control and Automation
y Rodrigo, C. (2017). Desarrollo de (MED) (pp. 957-961). IEEE. [Link]
competencias genéricas mediante flipped org/10.1109/MED.2017.7984242
classroom y el uso de herramientas web Elmaleh, J., y Shankararaman, V. (2017,
2.0 en el marco de trabajos colaborativos April). Improving student learning in
en educación superior [Development of an introductory programming course
generic competencies through flipped using flipped classroom and competency
classroom and the use of web 2.0 tools framework. En 2017 IEEE Global
within the framework of collaborative Engineering Education Conference
work in higher education] (No. (EDUCON) (pp. 49-55). IEEE. https://
COMPON-2017-0024). [Link]/10.1109/EDUCON.2017.7942823

304 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(1), pp. 285-308.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 V. Sandobal Verón; M. B. Marín; T. Barrios
El aula invertida como estrategia didáctica para la generación de competencias: una revisión sistemática

Elmehdi, H. M., Dalah, E. Z., e Ibrahem, M. A., Meseguer-Dueñas, J. M.,

A. M. (2019, March). Impact of Flipped Martínez Sala, R.M., Quiles, S., y Riera,
Physics Classes on the Performance of J. (2020). Effectiveness of flip teaching
Engineering Students: University of on engineering students’ performance in
Sharjah Case Study. En 2019 Advances the physics lab. Computers & Education,
in Science and Engineering Technology 144, 103708. [Link]
International Conferences (ASET) (pp. compedu.2019.103708
1-6). IEEE. [Link] Gunawardena, L., y Liyanage, M. P. P. (2018,
ICASET.2019.8714477 July). Flipped Classrooms using Social
Fernández, M. O. G., y Gaytan, P. H. (2019). Networks: An investigation on learning
Experiencia del aula invertida para styles. En 2018 7th International Congress
promover estudiantes prosumidores on Advanced Applied Informatics (IIAI-
del nivel superior. RIED. Revista AAI) (pp. 956-957). IEEE. [Link]
Iberoamericana de Educación a org/10.1109/IIAI-AAI.2018.00199
Distancia, 22(2), 245-263. [Link] He, W., Holton, A. J., y Farkas, G. (2018).
org/10.5944/ried.22.2.23065 Impact of partially flipped instruction
Fetaji, M., Fetaji, B., y Ebibi, M. (2019, on immediate and subsequent course
May). Analyses of possibilities of Flipped performance in a large undergraduate
Classroom in Teaching Computer Science chemistry course. Computers &
Courses. En 2019 42nd International Education, 125, 120-131. [Link]
Convention on Information and org/10.1016/[Link].2018.05.020
Communication Technology, Electronics Jambrina, L. F. (2017). Ecuaciones
and Microelectronics (MIPRO) (pp. 747- diferenciales con aula invertida.
752). IEEE. [Link] IV Congreso Internacional sobre
MIPRO.2019.8757126 aprendizaje, innovación y competitividad.
Fidalgo-Blanco, A., Martínez-Nuñez, M., Juárez, G. H., y Herrera, L. M. M. (2019).
Borrás-Gene, O., y Sánchez-Medina, Learning gain study in a strategy of
J. J. (2017). Micro flip teaching – An flipped learning in the undergraduate
innovative model to promote the active level. International Journal on
involvement of students. Computers in Interactive Design and Manufacturing
Human Behavior, 72, 713-723. https:// (IJIDeM), 13(4), 1245-1258. [Link]
[Link]/10.1016/[Link].2016.07.060 org/10.1007/s12008-019-00594-3
Flores, L. G., Veytia Bucheli, M. G., y Moreno Kitchenham, B., y Charters, S. (2007).
Tapia, J. (2020). Clase invertida para el Guidelines for performing systematic
desarrollo de la competencia: uso de la literature reviews in software
tecnología en estudiantes de preparatoria. engineering.
Revista Educación, 44(1), 192-209. Lin, Y. T. (2019). Impacts of a flipped
[Link] classroom with a smart learning diagnosis
v44i1.36961 system on students’ learning performance,
Garcia, S. (2018). Improving classroom perception, and problem solving ability in
preparedness using guided practice. En a software engineering course. Computers
Proceedings of the 49th ACM Technical in Human Behavior, 95, 187-196. https://
Symposium on Computer Science [Link]/10.1016/[Link].2018.11.036
Education (pp. 326-331). [Link] Llamas-Nistal, M., Mikic-Fonte, F. A.,
org/10.1145/3159450.3159571 Caeiro-Rodríguez, M., y Liz-Domínguez,
Gómez-Tejedor, J. A., Vidaurre, A., Tort- M. (2019). Supporting Intensive
Ausina, I., Molina-Mateo, J., Serrano, Continuous Assessment With BeA in a

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(1), pp. 285-308.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 305
 V. Sandobal Verón; M. B. Marín; T. Barrios
El aula invertida como estrategia didáctica para la generación de competencias: una revisión sistemática

Flipped Classroom Experience. IEEE Tecnología en Educación y Educación en

Access, 7, 150022-150036. [Link] Tecnología (TE&ET, La Matanza 2017).
org/10.1109/ACCESS.2019.2946908 Ramírez, Y. G. (2019). Estudio de caso del
Lopes, A. P., y Soares, F. (2018). modelo clase invertida en un curso de
Perception and performance in a flipped mecánica de cuerpos rígidos. Gaceta
Financial Mathematics classroom. The Técnica, 20(2), 51-65.
International Journal of Management Robinson, F. J., Reeves, P. M., Caines,
Education, 16(1), 105-113. [Link] H. L., y De Grandi, C. (2020). Using
org/10.1016/[Link].2018.01.001 Open-Source Videos to Flip a First-Year
Madrid García, E. M., Angulo Armenta, J., College Physics Class. Journal of Science
Prieto Méndez, M. E., Fernández Nistal, Education and Technology, 1-11. https://
M. T., y Olivares Carmona, K. M. (2018). [Link]/10.1007/s10956-020-09814-y
Implementación de aula invertida en Rodríguez, W. P. (2016). Estudio de
un curso propedéutico de habilidad evidencias de aprendizaje significativo en
matemática en bachillerato. Apertura, un aula bajo el modelo flipped classroom.
10(1), 24-39. [Link] Edutec. Revista Electrónica de Tecnología
Ap.v10n1.1149 Educativa, 55, a325-a325.
Matcha, W., Gašević, D., Uzir, N. A. Romero, E., Artal, J. S., Artacho, J. M., y
A., Jovanović, J., y Pardo, A. (2019, García Aranda, J. R. (2017). Aprendizaje
March). Analytics of learning invertido con Elevator Pitch y Pecha
strategies: Associations with academic Kucha. IV Congreso Internacional sobre
performance and feedback. En Aprendizaje, (No. COMPON-2017-0117).
Proceedings of the 9th International Ruiz, A. P., Martínez, A. C., y Perales,
Conference on Learning Analytics & R. G. (2018). Integración de TIC
Knowledge (pp. 461-470). [Link] de la Web 2.0 en el campus virtual
org/10.1145/3303772.3303787 universitario de la UCLM. (Estudio inter-
Matzumura-Kasano, J. P., Gutiérrez-Crespo, sujetos). REXE-Revista de Estudios y
H., Zamudio-Eslava, L. A., y Zavala- Experiencias en Educación, 2(2), 103-
Gonzales, J. C. (2018). Aprendizaje 113. [Link]
invertido para la mejora y logro de metas Especial3_20181031139
de aprendizaje en el Curso de Metodología Sánchez-Cruzado, C., Sánchez-Compaña,
de la Investigación en estudiantes T., y Macías-García, J. A. (2018). Flipped
de universidad. Revista Electrónica classroom como estrategia metodológica
Educare, 22(3), 177-197. para mejorar la competencia en trabajo
Nwokeji, J. C., Stachel, R., y Holmes, T. grupal en didáctica de la matemática.
(2019, October). Effect of Instructional Matemáticas, educación y sociedad, 1(3),
Methods on Student Performance in 31-43.
Flipped Classroom. En 2019 IEEE Sletten, S. R. (2017). Investigating flipped
Frontiers in Education Conference (FIE) learning: Student self-regulated learning,
(pp. 1-9). IEEE. [Link] perceptions, and achievement in an
FIE43999.2019.9028670 introductory biology course. Journal
Ponce, S. L., Marichal, A., Martínez, G., of Science Education and Technology,
Soldini, M., y Ponce, R. D. (2017). 26(3), 347-358. [Link]
Implementación de la clase invertida s10956-016-9683-8
en el aula universitaria: posibilidades Sun, Z., Xie, K., y Anderman, L. H. (2018).
para la obtención de aprendizajes no The role of self-regulated learning in
superficiales. En XII Congreso de students’ success in flipped undergraduate

306 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(1), pp. 285-308.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 V. Sandobal Verón; M. B. Marín; T. Barrios
El aula invertida como estrategia didáctica para la generación de competencias: una revisión sistemática

math courses. The Internet and Higher (pp. 1-9). IEEE. [Link]
Education, 36, 41-53. [Link] FIE.2018.8658616
org/10.1016/[Link].2017.09.003 Vera, G. A., Lledó, A. L., Puerta, M. G., y
Tong, Y., y Song, P. (2018, January). Research Lledó, G. L. (2018). La clase invertida en
on blended teaching model in the teaching la educación superior: percepciones del
of ‘micro-controller principles and alumnado. Revista INFAD de Psicología.
applications’. En Proceedings of the 6th International Journal of Developmental
International Conference on Information and Educational Psychology, 2(1),
and Education Technology (pp. 38-41). 155-162. [Link]
[Link] ijodaep.2018.n1.v2.1197
Valero, M. M., Martínez, M., Pozo, F., y Wang, F. H. (2019). On the relationships
Planas, E. (2019). A successful experience between behaviors and achievement in
with the flipped classroom in the Transport technology-mediated flipped classrooms:
Phenomena course. Education for A two-phase online behavioral PLS-
Chemical Engineers, 26, 67-79. https:// SEM model. Computers & Education,
[Link]/10.1016/[Link].2018.08.003 142, 103653. [Link]
Vasilchenko, A., Cajander, Å., Daniels, M., compedu.2019.103653
y Balaam, M. (2018, October). The self- Xie, Y. M. (2019). Social Media, Marketing,
flipped classroom concept: Underlying SEO, Marca Personal. https://
ideas and experiences. En 2018 IEEE [Link]/digital-social-media-
Frontiers in Education Conference (FIE) argentina-2019/

PERFIL ACADÉMICO Y PROFESIONAL DE LOS AUTORES

Valeria Celeste Sandobal Verón. Ingeniería en Sistemas de Información.

Jefe de Trabajos Prácticos del Departamento de Ingeniería en Sistemas de
Información en la Facultad Regional Resistencia, Universidad Tecnológica Nacional
(FRRe - UTN). Investigadora del Grupo de Investigación Educativa sobre Ingeniería
(GIESIN). Responsable del área de Recursos Humanos de la Secretaría de Ciencia y
Tecnología.
E-mail: vsandobal@[Link]

DIRECCIÓN DE LA AUTORA
Departamento de Ingeniería en Sistemas de Información
Facultad Regional Resistencia, Universidad Tecnológica Nacional
Edificio Central, French 414
H3500CHJ, Resistencia – Chaco, Argentina

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(1), pp. 285-308.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 307
 V. Sandobal Verón; M. B. Marín; T. Barrios
El aula invertida como estrategia didáctica para la generación de competencias: una revisión sistemática

María Bianca Marín. Ingeniera en sistemas de información, Especialista en

ingeniería gerencial, Abogada. Investigadora del Grupo de Investigación Educativa
sobre Ingeniería (GIESIN) de la Universidad Tecnológica Nacional – Facultad
Regional Resistencia. Coordinadora del equipo de tutorías de la Universidad
Tecnológica Nacional - Facultad Regional Resistencia. Desarrolladora de Software
empresa ECOM CHACO S.A. Asesoría Informática y jurídica.
E-mail: mbiancamarin@[Link]

Teresita Haydeé Barrios. Ingeniera en Sistemas de Información, Auxiliar de

1ra en el departamento de Ingeniería en Sistemas de información de la Universidad
Tecnológica Nacional (UTN) – Facultad Regional Resistencia (FRRE). Investigadora
del Grupo de Investigación Educativa sobre Ingeniería (GIESIN) de la UTN - FRRe.
Jefa del servicio de Informática del Hospital Dr. J. C. Perrando, Chaco – Argentina.
E-mail: barriosth@[Link]

DIRECCIÓN DE LAS AUTORAS

Grupo de Investigación Educativa sobre Ingeniería (GIESIN)
Facultad Regional Resistencia, Universidad Tecnológica Nacional
Edificio Central, French 414
H3500CHJ, Resistencia – Chaco, Argentina

Fecha de recepción del artículo: 02/12/2020

Fecha de aceptación del artículo: 06/02/2021
Fecha de aprobación para maquetación: 12/03/2021

308 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(1), pp. 285-308.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
I.S.S.N.: 1138-2783

MOOC in the West and East: A Comparative

Content Analysis of Newspapers
(MOOC en Occidente y Oriente: Un análisis de
contenido comparativo en los periódicos)

Jingshan Liu
Universidad Carlos III de Madrid (Spain)

DOI: [Link]

How to reference this article:

Liu, J. (2021). MOOC in the West and East: A Comparative Content Analysis of
Newspapers. RIED. Revista Iberoamericana de Educación a Distancia, 24(2),
pp. 309-327. [Link]

Abstract

One of the most notable differences between massive open online courses (MOOCs) and
other educational technology innovations is the general public’s unprecedented interest and
participation. This study presents a comparative analysis of MOOCs’ public debate in different
countries, focusing on media content in national newspapers related to MOOCs in China and
Spain. The most critical themes in the main newspapers in both countries related to the MOOCs
between 2012 and 2019 are identified. The analysis is made in 456 articles content, examining
whether there is a different interpretation of different language and cultural backgrounds.
The results indicate that the MOOC coverage has changed significantly over the eight years
in both countries, with 2014 being the year with the most extensive regular publication on
the MOOC topic in both countries. Since then, the total number of articles shows a clear
downward trend in China, and Spanish newspapers started to reduce MOOC coverage, but
it increases again from 2017 onwards. The focus of the MOOC discourse in the Chinese and
Spanish newspapers is different from the English newspaper. In contrast, the articles in Spain
focus on the possibility of using MOOCs in professional training and employment. In China,
the focus seems to move towards educational equality regulations and educational policies in
the 21st century.

Keywords: MOOC; China; Spain; newspaper.

Resumen

Una de las diferencias más llamativa entre los cursos online masivo en abierto o MOOC
y las innovaciones anteriores de la tecnología educativa es el interés y la participación sin

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 309-327.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 309
 J. Liu
MOOC in the West and East: A Comparative Content Analysis of Newspapers

precedentes del público en general. Este estudio presenta un análisis comparativo del debate
público en torno a los MOOC en diferentes países, enfocándose los contenidos mediáticos en los
periódicos nacionales relacionados con los MOOC en China y España. Se identifican los temas
más importantes en los principales periódicos en ambos países relacionados con los MOOC
entre los años 2012 y 2019, llevándose a cabo un análisis en 456 artículos sobre su contenido,
examinando si existe una interpretación distinta desde el idioma y la cultura diferente. Los
resultados indican que la cobertura de los MOOC ha cambiado significativamente en los ocho
años en ambas naciones, siendo el año 2014 el año con la mayor publicación periódica sobre
el tema de los MOOC en ambos países. Desde entonces, el número total de artículos muestra
una clara tendencia descendente en China, y los periódicos españoles empezaron a reducir la
cobertura de los MOOC, pero vuelve a aumentar a partir del año 2017. El enfoque del discurso
MOOC en periódico chino y español es diferente al periódico inglés, mientras que los artículos
en España se centran en la utilización de los MOOC en formación profesional y empleo, en
China, el enfoque parece moverse hacia las regulaciones y las políticas en la Educación en
Igualdad del siglo XXI.

Palabras clave: MOOC; China; España; periódico.

The MOOCs began to occur at a specific time and have hit the university education
landscape. To date, educational institutions and universities in more than 60
countries offer courses through the leading providers Coursera, edX, or Futurelearn
(MOOC List, 2020). Although the UNESCO (United Nations Educational, Scientific
and Cultural Organization) and COL (Commonwealth of Learning) have established
a guide on MOOCs to expand access to education worldwide at the digital age
(UNESCO & COL, 2016), worldwide education is still challenging considering the
socio-cultural barriers. Indeed, different cultural and social backgrounds pose
significant challenges for MOOC providers to access learners in different countries
(Reich & Ruipérez-Valiente, 2019). As MOOCs are open to learners through an online
environment, thus a single course might have registered for thousands of learners
from different regions at the same time. MOOC learners from different regions and
country backgrounds show significant differences in their performance (Gameel
& Wilkins, 2019). A better understanding of the country differences in which the
learners live can help MOOC educators make users succeed in their courses.
Furthermore, one of MOOCs’ most disruptive aspects is the general public’s
unprecedented interest and participation. The current debate about MOOCs also
has been widely discussed in mainstream media. Although social media are seen as
a useful tool that could share public perception and improve cooperative learning
between learners in the virtual space (Costello et al., 2018; Shao et al., 2020), public
discussions through online platforms may be limited to a niche community of like-
minded education technology practitioners and MOOC providers (Bulfin et al.,
2014). As most of the general public is likely to encounter MOOC-related news in
mainstream newspapers, the news sources of this kind of media seem to significantly

310 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 309-327.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 J. Liu
MOOC in the West and East: A Comparative Content Analysis of Newspapers

influence online education’s ongoing development as another educational form.

In line with this perception, this paper aims to understand better how discursive
strategies accompanying the emergence of media discourses will shape the MOOC
adaptation and public understanding in different countries. The analysis also aims
to improve the understanding of the MOOC users’ social backgrounds in China and
Spain.
This article is organized as follows. First, a literature review was conducted
to discuss the main rhetorical and discursive patterns of the media content
characterizing MOOC’s emergence in newspapers. Second, the article discusses
framing theory and transnational research design as a useful framework to compare
different mainstream media discourses in different countries. After briefly describing
MOOCs’ current development in China and Spain, the most critical themes in the
prominent newspapers in both countries related to the MOOCs are identified and
compared between 2012 and 2019. In conclusion, the study contends that the
discourses set in motion by MOOC represent a cultural difference in Chinese and
Spanish newspapers that may influence and shape the current social imaginary and
public perception of online education in their context.

THEORETICAL FRAMEWORK

The media construction of MOOC discourses

The MOOCs first captured media attention in 2012, while the same year was
also defined as the year of MOOC by Pappano (2012) in The New York Times. Since
then, educational innovation with technology topics has been widely discussed in
the mainstream media coverages. Recently, many researchers have examined the
representation of MOOCs in mainstream newspapers (Bulfin et al., 2014; Deimann,
2015; Kovanović et al., 2015; White et al., 2015; Brown et al., 2016; Kovanović et al.,
2016; Dumitrica, 2017) (see Figure 1).
Among them, Bulfin et al. (2014) analyzed newspapers in Australia, the United
Kingdom, and the United States. They found MOOCs’ central theme is related to
the massification, commercialization, and monetization of universities instead of
talking about technological or educational advancement. After analyzing all the
news articles published in the English language during 2013 and 2014, Kovanović et
al. (2015) found that the dominant themes were finance, business, and investment.
While the MOOC platform and the adaptation in the global arena such as India,
China, the United States, and Australia also figured prominently. White et al. (2015)
discovered that the most discussed topics in the major higher education journals
were impacted by teaching, universities, and new business models. In more depth,
Deimann (2015) compared the constructed discourses of MOOCs in the media and
social reality by analyzing the news published in The New York Times (2012-2013).
In another study that attempted to look at the relationship between higher education

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 309-327.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 311
 J. Liu
MOOC in the West and East: A Comparative Content Analysis of Newspapers

construction and MOOCs, Dumitrica (2017) used the method of critical discourse
analysis to analyze print coverage in Canada on the topic of MOOCs.
Previous studies were concentered on the analysis of English languages
newspaper. Their results showed that the most popular themes in the MOOCs’ related
discourse represented in mainstream media were based on the economic framework
and neoliberal reform of higher education through technological innovation. On the
other hand, little was known about the MOOC discussion in non-English language
mainstream media such as Chinese and Spanish language newspapers. Even less is
known about how different countries have portrayed, positioned, and discussed the
MOOC topic during times.

Figure 1
Previous studies on media discourses of the MOOC topic

Source: own elaboration

Framing theory and transnational research design

The MOOCs have found a unique position in mainstream media coverage,

which has increased the general public concerns and discussions of online
learning. Framing theory suggests that the information presented to the audience
may influence their form to process that information. In media content study, the
framing theory was widely used to analyze how the media information is framed to
influence the public perception of a social issue in the news. The work to process
and organize media message meaning was considered as the media frames. As with
most social issues such as education, MOOCs’ public perception is likely influenced

312 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 309-327.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 J. Liu
MOOC in the West and East: A Comparative Content Analysis of Newspapers

by media representation (McCombs & Shaw, 1972; Rogers et al., 2005; Scheufele &
Tewksbury, 2007). The increasing use of transnational research design allows us to
test the social system’s influence on news discourses and unravel the institutional
level frames (Benson, 2013). Van Dijk (2013) presented two alternative hypotheses
on comparative studies in media contents, based on arguments drawn from the
study of intercultural discourse and communication. Cultural, social, ideological, or
political differences in different countries may influence the discourses’ presentation
on a given topic. Otherwise, based on globalization’s influence, media discourses
do not reflect differences, and their news production derives from the international
cultural monopoly and shows similarity in representation. The comparison of public
debates in the mainstream media may provide helpful hints for understanding
MOOC development during eight years in the Western and Eastern countries and
how the online educational environment is constructed differently.

MOOC in China and Spain

In China, MOOCs have become one of the most relevant issues in China’s
educational field since 2015 (Zhang et al., 2015). As the Ministry of Education
China aims to improve their quality of current higher education and promote
Chinese universities’ reputation globally, MOOCs have become an essential national
educational policy in China (Zheng & Yang, 2017, Zhang et al., 2019). According
to the report in the first Global MOOC conference co-hold by Tsinghua University
and UNESCO, over 30 MOOC platforms had offered more than 34,000 courses in
which more than 540 million users had registered in China. By October of 2020,
China ranks first globally in online courses and users (Zou, 2020). As indicated by
the study of Shang and Cao (2017), the development of digital higher education is at
a prominent stage in China. As the national policy support is significantly enhanced
and capital investment increased, the Chinese educational system will leave an
enormous development in the digital space in the future.
In Spain, UNED was the first Higher Education institution to offer MOOC
courses on the UNED COMA platform in October 2012. Miríadax ([Link].
net) is the first non-English speaking platform globally, with more than 7 million
enrollments and 100 educational partners. It was considered the most widely used
platform by universities in Spain and Latina America (Medina-Salguero & Aguaded,
2014; Zapata-Ros, 2015; Navarro & Barreto, 2018). According to the data provided
by Cano and Meneses (2014), Spain was the leading provider of MOOCs in the
European framework, being one of the most active countries in the world since 2015.
As digital education has been confirmed as one of the most relevant priorities of
the European Commission (European Commission, 2018), the Spanish university
community’s MOOC offer is continuously growing (García-Peñalvo et al., 2018).
A recent survey conducted by Aguado (2020) has suggested that Spanish students
valued very positively in digital education tools and almost unanimously preferred

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 309-327.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 313
 J. Liu
MOOC in the West and East: A Comparative Content Analysis of Newspapers

the combination pattern of MOOCs and face-to-face teaching as an ideal form of

learning.
MOOCs are a relevant issue in Chinese and Spanish society, and newspapers will
likely involve the MOOC issue and support the media discourses. The study towards
local newspapers in other languages from different social and cultural contexts is
lacking. Comparing the social debates and public discourses in China and Spain,
content analysis (Neuendorf, 2017) has been carried out on both countries’ general
and educational newspapers during the years 2012 and 2019. Considering many
potential MOOC users are native Chinese and Spanish speakers, this paper presents
an interesting comparative study in this context to find out how MOOCs have been
represented to their local audience in Chinese and Spanish society. In this sense, this
research has the following questions:

1. How has the number of newspaper articles in the MOOCs’ media coverage
changed over time between the two countries (2012-2019)?
2. What are the dominant themes in one country and another?
3. Are there any differences or similarities between the MOOC themes presentation
in Chinese and Spanish newspapers?

METHODOLOGY

Analyzing MOOC news coverage in Chinese and Spanish newspapers, the research
was conducted by searching independently articles related to the MOOCs in both the
Chinese and Spanish press through the Spanish (Mynews) and Chinese (China Core
Newspapers Full-text Database) databases. Mynews has been a digital archive of the
Spanish press since 1996, which includes almost 200 press titles, while the China
Core Newspapers Full-text Database includes more than 500 titles from the Chinese
press from 2000 onwards. The period of publications between January 2012 and
September 2019 has been selected, considered a complete MOOC debate period
globally. In this sense, six general newspapers in Spain (ABC, El País, and El Mundo)
and China (The People’s Daily, Guang Ming Daily, and China Youth Daily) have been
selected. As well as two newspapers specialized in education, Magisnet from Spain
and China Education Newspaper from China. In order to identify the articles, the
search uses the English abbreviation “MOOC” or “Massive online open courses,”
the Spanish “CEMA” or “Curso En-línea Masivo y Abierto” and the Chinese “慕课”
through Mynews and China Core Newspapers Full-text Database. After removing
duplicate articles, articles that are not predominantly focused on the MOOC topic
are manually excluded. Initially, 485 articles were identified, including 456 articles
that met the inclusion criteria and were eligible for the coding and analysis process.
In order to codify and analyze media content, the quantitative methodology
of content analysis is applied. In the first phase, quantitative analysis was used to
measure article frequencies across the sample. In the second phase, a more in-depth

314 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 309-327.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 J. Liu
MOOC in the West and East: A Comparative Content Analysis of Newspapers

content analysis was carried out to compare MOOC themes. A thematic analysis
illustrates the main topics or ideas of a news article. In this sense, the coding process
was close to a qualitative approach. Finally, the quantitative analysis focuses on
measuring and analyzing the contents with the data collected. The methods of this
research consist of the following steps:

1. Build a coding framework.

2. Codify the article contents using the coding framework.
3. Establish the reliability of the data collected and exclude unreliable data.
4. Analyze quantitative data.
5. Carry out a comparative analysis derived from the data.

In constructing a coding framework to encode the content, a search for the most
frequent words in all the samples in group 1 (Chinese newspapers) and group 2
(Spanish newspapers) was conducted. Two coders read the randomly selected sub-
samples in an SPSS program of 50 articles representing 10.7% in all the samples (28
in Spanish newspapers and 22 in Chinese newspapers), identifying the most relevant
topics related to the research. When the coders do not find any new categories, the
list of categories is saturated. In this sense, the collected topics were grouped into
four categories: 1) Educational aspects, 2) MOOC infrastructure aspects, 3) Social
aspects 4) Other aspects. The coding framework format contains four categories
of topics and their subcategories while also collecting detailed information on the
articles, such as the year of publication and edition. Besides, each coder collects
information in two categories per country. The results allow analyzing if the themes
vary according to their different cultural context.
To collect the quantitative data, coder A reads each article, in turn, using the
coding framework to examine whether the themes are represented in the contents of
the articles. To ensure the coding process’s consistency and reliability, coder B codes
a random subsample of 59 articles representing 12.6% of the sample, including 35
articles from Spain representing 12.8% in Spanish newspapers and 24 articles from
China representing 12.2% in Chinese newspapers. The Kappa coefficient (κ) is used
to examine the intercoder’s reliability in each variable across the 59 double-coded
items. The variables must obtain values greater than 0.80 to enter the next analysis
process only retains the strongly agreed variables. After examining reliability, only 14
variables met our criteria for inclusion (see table 1). All data collected are calculated
through the SPSS program. The statistical procedures are a simple linear regression
that examines the relationship between the number of articles published and the
year of publication in China and Spain and the Chi-squared test (χ2) to examine
whether thematic variables vary in both countries. A condition for the appropriate
use of the test χ2 was that each expected frequency is at least 5. After computing all
the expected frequencies of each variable, this is true for this sample (the smallest
expected frequency is 21.9), and therefore it is appropriate to use the test statistic.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 309-327.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 315
 J. Liu
MOOC in the West and East: A Comparative Content Analysis of Newspapers

The level of statistical significance is set at 0.01 to reduce the probability of a type I
error.

Table 1
Categories of prominent topics and definition of variables

Source: own elaboration

316 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 309-327.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 J. Liu
MOOC in the West and East: A Comparative Content Analysis of Newspapers

RESULTS

Table 2
Publication and articles in the sample

Source: own elaboration

Figure 2
Publication numbers per press

Source: own elaboration

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 309-327.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 317
 J. Liu
MOOC in the West and East: A Comparative Content Analysis of Newspapers

Between January 2012 and September 2019, the 456 articles on the MOOC topic
were published in six major newspapers and two specialist education periods in China
and Spain. Among the articles published, 260 were found in Spanish newspapers
and 196 Chinese newspapers (see Table 2 and Figure 2). Most of the Spanish articles
published were in the generalized newspapers, these being ABC (n=36, 13.8%), El
Mundo (n=163,62.7%), and El País (n=58, 22.3%). However, limited articles were
found in the specialized education newspaper Magisnet (n=3, 1.2%). On the other
hand, Chinese newspaper articles related to the MOOC have been published mostly in
the China Education Newspaper (n=78, 39.8%), while mainstream newspapers have
the equivalent publication number represented by the People’s daily (n=40, 20.4%),
the Guang Ming Daily (n=45, 22.9%) and the China Youth Daily (n=33,16.8%). The
results have compared the number of MOOC coverage has changed significantly over
the eight years in both countries (see Figure 3), but the year of publication was not
a statistically significant predictor of the frequency of articles in China (coefficient
-2,467, p=0,467) or Spain (coefficient 0,393, p=0,898). The year 2014 was the year
with the largest number of periodicals on MOOCs in China (n=53, 27%) and Spain
(n=58, 21.2%). From 2016 onwards, Chinese newspapers started to reduce MOOC
coverage, and only 23 (11.7%) articles were found, while in Spain, after the fall in
2015, there was another peak in the publication of articles in 2017 (n=56, 20.5%),
and then a clear downward trend in 2018 (n=20, 7.3%).

Figure 3
Frequency of publication of MOOC articles per year

Source: own elaboration

318 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 309-327.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 J. Liu
MOOC in the West and East: A Comparative Content Analysis of Newspapers

In the second phase of thematic analysis, the articles were coded by different
countries, China (n=196, 41.8%) and Spain (n=273, 58.2%), using the same coding
framework that includes 14 themes that have established later to identify the
characteristics and presentation of the MOOCs in different countries. Ten themes
out of the 14 themes mentioned in the Chinese articles (n=196) differed significantly
from the Spanish articles (n=260).

Table 3
Themes related to the MOOC

All articles China Spain χ2

(n=456) (n=196) (n=260) p value
(China
n Percentage n Percentage n Percentage vs Spain)
Educational
aspects
[Link] and
375 82.2 162 82.7 213 81.9 .840
Higher Education
[Link] and
Secondary 52 11.4 37 18.9 15 5.8 .000*
Education
[Link] 346 75.9 164 83.7 182 70.0 .001*
[Link] and
310 68.0 157 80.1 153 58.8 .000*
learners
[Link] 241 52.9 131 66.8 110 42.3 .000*
[Link] and
International 259 56.8 102 52.0 157 60.4 .075
Education
[Link]
equity and 66 14.5 56 28.6 10 3.8 .000*
equality
MOOC
Infrastructure
aspects
[Link] 232 50.9 132 67.3 100 38.5 .000*
[Link]
credentials and 128 28.1 60 30.6 68 26.2 .294
certificates
Social aspects
[Link] and
113 24.8 22 11.2 91 35.0 .000*
enterprise
[Link] and
99 21.7 66 33.7 33 12.7 .000*
government

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 309-327.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 319
 J. Liu
MOOC in the West and East: A Comparative Content Analysis of Newspapers

All articles China Spain χ2

(n=456) (n=196) (n=260) p value
(China
n Percentage n Percentage n Percentage vs Spain)
[Link] and
99 21.7 26 13.3 73 28.1 .000*
employability
[Link] and .782
51 11.2 21 10.7 30 11.5
economic
Other aspects
[Link] problem
117 25.7 82 41.8 35 13.5 .000*
with MOOCs
*The chi-square statistic is significant at the 0.01 level

In terms of the educational aspect, there were no statistically significant

relationships between the university theme and the country focus (p=0.840).
Nevertheless, the relationship between the subject Primary and Secondary Education
and the country category is statistically significant (p<0.000), and they were
mentioned more times in the Chinese texts (n=37,18.9%) than in the Spanish texts
(n=15, 5.8%). The articles mentioned to education practice were significantly related
to the country category, among them, Pedagogy (p<0.001), Teachers (p<0.000),
Students and Learners (p<0.000). In terms of educational strategies, the theme of
Global and International Education was mentioned more frequently in the Spanish
articles (n=157, 60.4%) than in the Chinese (n=102, 52%), but the difference was
not significant (p=0.294). While there were more Chinese articles mentioned in the
theme of Educational equality and equity (n=56.28.6%) than Spanish articles (n=10,
3.8%), and the difference is significant (p<0.000).
On the other hand, the relationship between non-educational aspects and
country category has also been compared. There is no relationship between the
MOOC infrastructure elements and the theme of MOOC credentials and certificates
and the country category (p=0.294). However, there was a significant relationship
between the theme of the MOOC platform and the country category (p<0.000),
where articles in the Chinese press highlighted more content on the platform (n=132,
67.3%). Furthermore, the relationship between the social aspects and country
category has also been compared. While MOOCs and enterprise (n=113, 24.8%)
associated significantly more with one country than the other, being mentioned
predominantly in articles published in Spain (p<0.000). MOOCs and employability
were significantly related to the country category (p<0.000). Seventy-three Spanish
articles (28.1%) have mentioned this issue, while only 26 (13.3%) articles in the
Chinese press. The Business and economic theme was mentioned more frequently
in the Spanish articles (n=30, 11.5%) than the Chinese articles (n=21, 10.7%), but in
this difference, there was no significant relation (p=0.782). On the contrary, MOOCs
and the government’s issue was mentioned more in the Chinese articles than in

320 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 309-327.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 J. Liu
MOOC in the West and East: A Comparative Content Analysis of Newspapers

the Spanish articles. The difference was significant (p<0.000). Finally, the issue
of the MOOC problem has examined, 117 (25.7%) articles highlighted this issue, it
is significantly related to the country category (p<0,000), with almost half of the
Chinese articles (n=82, 41.8%) frequently mentioning the problem with MOOCs,
while Spanish articles mention it little (n=35, 13.5%).
After comparing the articles produced by the Chinese and Spanish press on
the MOOCs, the most widely discussed themes of MOOC in both local Chinese
and Spanish newspapers during the eight years also have been identified in Figure
5 (Universities and Higher Education, Students and learners, Pedagogy, Teacher,
Platform, Global and International Education). However, as the total number of
regular articles on MOOCs in China and Spain decreases (figure 3), all analysis
themes also show a downward trend over the eight years.

Figure 4
Comparison of themes in China and Spain

Source: own elaboration

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 309-327.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 321
 J. Liu
MOOC in the West and East: A Comparative Content Analysis of Newspapers

Figure 5
The dominant themes in Chinese and Spanish newspapers

Source: own elaboration

DISCUSSION AND CONCLUSION

This study examines MOOCs’ representations between China and Spain for over
eight years. The quantitative content analysis contributes to the understanding that
there are different representations of MOOC issues in Chinese and Spanish local
newspapers. The results indicate that public opinion on the MOOC topic has changed
significantly during these eight years in both countries, with 2014 being the year
with the most extensive regular publication on the MOOC issue in both countries.
Since then, the total number of articles shows a clear downward trend in China, and
Spanish newspapers started to reduce MOOC coverage, but it increases again from
2017 onwards. The prevalence of the media discussion in both Chinese and Spanish
newspapers shows that MOOCs have become an essential issue of contemporary
education at the national level, whether in the western o eastern society. The social
imagination about education is transformed by proliferating the Internet goes
beyond the national boundaries.

322 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 309-327.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 J. Liu
MOOC in the West and East: A Comparative Content Analysis of Newspapers

In line with the quantitative analysis, the unexpected findings suggest that
economics is not an essential theme in China or Spain, which differentiates English
language newspaper topics. As indicated in the previous studies, the MOOCs’
finance and economic investment theme has been the dominant discourses (Bulfin
et al., 2014; Kovanović et al., 2015; Dumitrica, 2017). The analysis of Chinese and
Spanish news reporting brings up the possibility that MOOCs are described to
improve the current education system as public goods rather than a technological
and economic framework. In this consideration, the MOOCs phenomenon is not just
new technological innovation. Instead, they have more profound implications in the
Chinese and Spanish educational system in the long-term.
The findings also showed different media frames of the MOOCs in Chinese and
Spanish languages newspapers. It seems possible that these differences are due to
the different understanding of the MOOC phenomenon in China and Spain, which
is indirectly influenced by existing socio-political, ideological, and cultural factors.
Since most Chinese MOOC providers are universities, it is necessary to consider
that the higher education institutions are mostly public and non-profit in China.
Facing the challenge of a vast population, how to provide universal access to higher
education and promote equity and equality in education become essential topics
for Chinese education policy. Leading the world in MOOC courses and learners
shows that the government has taken digital higher education as a vital strategy.
The national Chinese MOOC platform provides courses not only to higher education
but also primary and secondary education. On the contrary, the Spanish MOOC
platform was established and promoted by universities with enterprise cooperation,
specializing in providing comprehensive online learning courses for education and
training. In the western educational system, getting an education is considered an
individual responsibility in a society based on the neoliberal frame. Thus, MOOCs’
description was articulated with the utopian vision of democratizing individuals’
education through the Internet. MOOCs learners can pick their favorite courses that
suit their own needs and help them better adapt to the job market.
MOOCs’ media imaginary will indeed have conveyed MOOCs’ understanding
and their broader social meaning in different contexts. As mass media and public
discourse are integral elements of educational policy, MOOC policymakers and
decision-makers within government and educational institutions use mainstream
media as an essential tool to get informed by MOOCs’ current development
(Bulfin et al., 2014). Therefore, how MOOCs are being represented in Chinese and
Spanish languages newspapers should be seen as a vital element influencing digital
higher education and further technological application in the online education
environment. The use of language and construction of media discourse is essential
not just because they reflect the social life but also constructing the social realities.
The media discussions have considerable influence in sustaining and inspiring
MOOCs’ progression from niche educational technology to mainstream education
from the general public in different countries.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 309-327.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 323
 J. Liu
MOOC in the West and East: A Comparative Content Analysis of Newspapers

In terms of the research question of this study, some limitations and issues need
further consideration. While newspaper articles present a comparison of public
discourses on MOOCs in China and Spain, content analysis alone cannot determine
MOOC integration into society and the extent to which public understanding
correlates with media representations. The public does not consume media content
passively and uncritically but is instead affected by many influences beyond the
media. Exploring and comparing other media formats, such as social media, can
create a more comprehensive understanding of MOOC presentations in different
social life. Besides, obtaining a larger sample by including more publications can
increase the findings’ validity. Another possible limitation of the data used in the
Mynews and China Core Newspapers Full-text Database is its text format, omitting
any images included in the original articles. The research does not explicitly design
the qualitative part of evaluating media discourses thoroughly and critically,
considering the limited length of the text. Using a qualitative approach to compare
the public discourse should be considered in the future. Besides, this study is limited
to the concerns of media content produced in China and Spain. There is a clear
space for further comparative research that completes MOOCs’ media discussion at
other national levels, such as the large higher education systems in Latin America.
Particularly, it is interesting to ask the question about whose interests are the western
and eastern newspapers’ discourses benefit and how MOOCs’ media construction is
located within the social structure of power and educational systems. The portrayals
of key actors and interest groups may reflect the MOOC development dynamics in
the national context.
This article has sought to improve the understanding of media construction
of MOOC in the Chinese and Spanish languages contexts, which were considered
to have the most widely audiences and potential online learners in the world. The
comparative analysis highlighted an important research area in which mainstream
media may help improve understandings and transfer meanings of new educational
technology to their public in different countries, and consequently helped advance
scholarly understandings of the current online education environment in different
cultural backgrounds.

REFERENCES

Aguado Franco, J. C. (2020). Los MOOC: Brown, M., Costello, E., Donlon, E., Giolla-
¿sustituto o complemento de la formación Mhichil, M., Kirwan, C., Kovanović, V.,
tradicional? Revista Tecnología, Ciencia & Hatala, M. (2016). Story of MOOCs
y Educación, 16, 41-62. [Link] in the Irish media: Hold the front page,
net/20.500.12226/330 25. [Link]
Benson, R. (2013). Shaping Immigration MOOCs_in_Europe_November_2015.
News: A French–American Comparison. pdf
University Press, Cambridge. [Link] Bulfin, S., Pangrazio, L., & Selwyn, N. (2014).
org/10.1017/CBO9781139034326 Making “MOOCs”: The construction of a

324 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 309-327.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 J. Liu
MOOC in the West and East: A Comparative Content Analysis of Newspapers

new digital higher education within news Computers & Education, 136(1), 49-60.
media discourse. International Review of Elsevier Ltd. [Link]
Research in Open and Distance Learning, compedu.2019.02.014
15(5), 290-305. [Link] Kovanovic, V., Joksimovic, S., Gaševic,
irrodl.v15i5.1856 D., Siemens, G., & Hatala, M. (2015).
Cano, V., & Meneses, L. (2014). Los Mooc y What public media reveals about
La Educación Superior: la expansión del MOOCs: A systematic analysis of news
conocimiento. Profesorado. Revista de reports. British Journal of Educational
Currículum y Formación de Profesorado, Technology, 46(3), 510-527. [Link]
18(1), 3-12. [Link] org/10.1111/bjet.12277
pdf/567/[Link] Kovanović, V., Gašević, D., Joksimović,
Comisión Europea (Ed.) (2018). S., & Siemens, G. (2016). MOOCs in
Comunicación de la Comisión al the News : A European Perspective
Parlamento Europeo, al Consejo, al Analysis of MOOC research literature,
Comité Económico y Social Europeo y al (November), 36-47. [Link]
Comité de las Regiones sobre el plan de images/publicaties/MOOCs_in_Europe_
acción de educación digital. [Link] November_2015.pdf
ly/2YCsVwN McCombs, M. E., & Shaw, D. L. (1972). The
Costello, E., Brown, M., Mhichíl, M. N. G., Agenda-Setting Function of Mass Media.
& Zhang, J. (2018). Big course small Public opinion Quarterly: Journal of
talk: Twitter and MOOCs — a systematic the American Association for Public
review of research designs 2011–2017. Opinion Research, 36(2), 176. https://
International Journal of Educational [Link]/10.1086/267990 [Link]
Technology in Higher Education, 15(1), org/10.1086/267990
44. [Link] Medina-Salguero, R., & Aguaded, I. (2014).
0127-9 Los MOOC en la plataforma educativa
Deimann, M. (2015). The dark side of the MiriadaX. Profesorado, 18(1), 137-153.
MOOC-A critical inquiry on their claims [Link]
and realities. Current Issues in Emerging MOOC List. (2020). [Link]
ELearning, 2(1). [Link] com/countries
[Link]/ciee/vol2/iss1/3 Navarro, C. P. B., & Barreto, C. T. R (2018).
Dumitrica, D. (2017). Fixing higher education Los MOOC en la Educación Superior: Un
through technology: Canadian media Análisis Comparativo desde la oferta de
coverage of massive open online courses. Universidades Latinoamericanas. Saber,
Learning, Media and Technology, 42(4), Ciencia y Libertad, 13(2), 250-260.
454-467. [Link] [Link]
884.2017.1278021 saber.2018v13n2.4639
García-Peñalvo, F. J., Fidalgo-Blanco, Á., & Neuendorf, K. A. (2017). The Content
Sein-echaluce, M. L. (2018). An adaptive Analysis Guidebook (2nd ed.). Thousand
hybrid MOOC model : Disrupting the Oaks, CA: Sage.
MOOC concept in higher education. Pappano, L. (2012). The Year of the
Telematics and Informatics, 35(4), MOOC. The New York Times, pp. 1-7.
1018-1030. [Link] [Link]
tele.2017.09.012 MN01909547/Centricity/Domain/272/
Gameel, B. G., & Wilkins, K. G. (2019). The Year of the MOOC NY [Link]
When it comes to MOOCs, where Reich, J., & Ruipérez-Valiente, J. A. (2019).
you are from makes a difference. The MOOC pivot. Science (New York,

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 309-327.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 325
 J. Liu
MOOC in the West and East: A Comparative Content Analysis of Newspapers

N.Y.), 363(6423), 130-131. [Link] White, S., Leon, M., & White, S. (2015).
org/10.1126/science.aav7958 MOOCs inside Universities: An analysis
Rogers, R., Schaenen, I., Schott, C., of MOOC discourse as represented
O’Brien, K., Trigos-Carrillo, L., Starkey, in the magazines. CSEDU 2015 -
K., & Chasteen, C. C. (2005). Critical 7th International Conference on
Discourse Analysis in Education: Computer Supported Education,
A Review of Educational Research. Proceedings, 2, 109-115. [Link]
Review of Educational Research, org/10.5220/0005453201090115
86(4), 1192-1226. [Link] Zapata-Ros, M. (2015). MOOCs, una visión
org/10.3102/0034654316628993 crítica y una alternativa complementaria:
Shang, J., & Cao, P. (2017). “Internet La individualización del aprendizaje y de
plus” and the reform of higher la ayuda pedagógica. Campus virtuales,
education: A preliminary study on the 2(1), 20-38. [Link]
development strategy of higher education ojs/[Link]/campusvirtuales/article/
informatization in China. Peking view/26
University Education Review, 1, 173-182. Zhang, J., Perris, K., Zheng, Q., & Chen, L.
[Link] (2015). Public response to “the MOOC
Y2017/V15/I1/173 movement” in China: Examining the time
Shao, Y., Zhang, J., Costello E., & Brown, series of microblogging. International
M. (2020). Public perceptions towards Review of Research in Open and Distance
MOOCs on social media: an alternative Learning, 16(5), 144-160. [Link]
perspective to understand personal org/10.19173/irrodl.v16i5.2244
learning experiences of MOOCs. Zhang, J., Sziegat, H., Perris, K., & Zhou, C.
Interactive Learning Environments. (2019). More than access: MOOCs and
[Link] changes in Chinese higher education.
.1799413 Learning, Media and Technology, 44(2),
Scheufele, D. A., & Tewksbury, D. (2007). 108-123. [Link]
Framing, Agenda Setting, and Priming: 84.2019.1602541
The Evolution of Three Media Effects Zheng, Y., & Yang, R.-Y. Y. (2017). The
Models. Journal of Communication, 57, rise of MOOCs: The literature review
9-20. [Link] of research progress and hot spots of
9916.2007.00326.x MOOCs education in mainland China.
UNESCO & COL. (2016). Making Sense Eurasia Journal of Mathematics, Science
of A Guide for Policy-Makers. https:// and Technology Education, 13(9),
[Link]/ark:/48223/ 6165-6174. [Link]
pf0000245122 EURASIA.2017.01056A
Van Dijk, T. A. (2013). News as Zou, S. (2020). China No 1 in open courses
discourse. Routledge. [Link] on Internet. China daily. https://
org/10.4324/9780203062784 [Link]/a/202012/14/
[Link]

ACADEMIC AND PROFESSIONAL PROFILE OF THE AUTHOR

Jingshan Liu. She is a Ph.D. Candidate in the Department of Communication

at Universidad Carlos III de Madrid. With experience as professor in Chinese
Language and Oriental Studies at Universidad Las Palmas de Gran Canaria (Spain)

326 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 309-327.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 J. Liu
MOOC in the West and East: A Comparative Content Analysis of Newspapers

and Universidad del Desarrollo (Chile). Her main research lines are related to the
development of educational technology in different social and cultural contexts.
[Link]
E-mail: [Link]@[Link]

ADDRESS
Department of Communication
Universidad Carlos III de Madrid
Calle Madrid, 135
28903 Getafe-Madrid (Spain)

Date of receipt: 31/12/2020

Date of acceptance: 07/03/2021
Date of layout: 18/03/2021

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 309-327.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 327
I.S.S.N.: 1138-2783

Competencia digital ciudadana: análisis de

tendencias en el ámbito educativo
(Digital Competence for Citizen: Analysis of Trends in
Education)

Diana Marín Suelves

Universitat de Valencia (España)
Nuria Cuevas Monzonís
Universidad Internacional de Valencia (España)
Vicente Gabarda Méndez
Universitat de Valencia (España)

DOI: [Link]

Cómo referenciar este artículo:

Marín Suelves, D., Cuevas Monzonís, N., y Gabarda Méndez, V. (2021).
Competencia digital ciudadana: Análisis de tendencias en el ámbito educativo.
RIED. Revista Iberoamericana de Educación a Distancia, 24(2), pp. 329-349.
[Link]

Resumen

La competencia digital ciudadana se ha ido integrando en los procesos formativos

de manera desigual, a pesar de la existencia de marcos internacionales que promueven su
inclusión en los diferentes sistemas educativos. Este estudio trata de aproximarse al fenómeno
desde una perspectiva bibliométrica y bibliográfica. Por un lado, se explora la producción
científica en términos cuantitativos, a partir del análisis de los 87 artículos seleccionados
de las bases de datos Scopus y Web of Science, analizando cuestiones como el número de
autores o de citas. Por otro lado, se analiza el contenido de las 47 publicaciones disponibles
en abierto, abordando cuestiones como la etapa educativa, los participantes o las áreas de
trabajo. Los resultados confirman el aumento de la producción científica en el último año y la
posición relevante que ocupa España, así como la predominancia de investigaciones centradas
en estudiantes de Educación Superior y sobre el conjunto de áreas del Marco Digcomp.
Las investigaciones confirman la variedad de herramientas y medios para el fomento de la
competencia digital, así como la identificación de algunos condicionantes básicos para su
desarrollo, como la etapa educativa, la formación docente o las características del contexto
institucional, proporcionando algunas cuestiones fundamentales para seguir trabajando su
integración en las diferentes etapas educativas.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 329-349.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 329
 D. Marín Suelves; N. Cuevas Monzonís; V. Gabarda Méndez
Competencia digital ciudadana: análisis de tendencias en el ámbito educativo

Palabras clave: competencia digital; ciudadanía; educación; bibliometría.

Abstract

Citizen digital competence has been integrating unevenly into training processes, despite
the existence of international frameworks that promote its inclusion in the different education
systems. This study tries to approach the phenomenon from a bibliometric and bibliographic
perspective. On the one hand, scientific production is explored in quantitative terms, based
on the analysis of the 87 articles selected from the Scopus and Web of Science databases,
analysing issues such as the number of authors or citations. On the other hand, the content of
the 47 publications available in open access is analysed, addressing issues such as educational
stage, participants or the framework area considered. The results confirm the increase in
scientific production in the last year and the relevant position held by Spain, as well as the
predominance of research focused on Higher Education students and on the set of areas of the
Digcomp Framework. The research confirms the variety of tools and means for the promotion
of digital competence, as well as the identification of some basic conditioning factors for
its development, such as the educational stage, teacher training or the characteristics of
the institutional context, providing some fundamental issues to continue working on its
integrating in the different educational stages.

Keywords: digital competence; citizenship; education; bibliometrics.

Desde hace unos años se ha tratado de identificar, por parte de diferentes

organismos, cuáles son las competencias básicas que cualquier ciudadano debe
desarrollar en el ámbito digital para poder desarrollarse de un modo adecuado en el
contexto social, económico y cultural en que vivimos.
Una aproximación compartida a nivel internacional en esta línea es la que ofrece
el Marco de Competencia Digital Ciudadana (DigComp) de la Unión Europea, a cargo
de Carretero et al. (2017). Esta propuesta, compuesta por cinco áreas de desarrollo
competencial y un total de 21 descriptores, establece cuáles son las principales
destrezas que deben tener los ciudadanos en materia digital, sirviendo de referencia
para el establecimiento, entre otros, de políticas educativas que permitan facilitar el
desarrollo de estas competencias desde el ámbito educativo.
Se parte de la idea, no obstante, de que la competencia digital se ha venido
integrando en los sistemas educativos de forma generalizada en los últimos años a
partir de su identificación como competencia clave para el aprendizaje permanente
(Comisión Europea, 2006). Sin embargo, el modo en que se integra en las diferentes
etapas, así como las cuestiones específicas que se trabajan pueden variar de manera
considerable.
Bajo esta perspectiva, el presente estudio presenta un análisis bibliométrico y de
contenido acerca del abordaje específico de la vertiente ciudadana de la competencia
digital en el ámbito educativo. De este modo, se analizará la producción científica

330 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 329-349.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 D. Marín Suelves; N. Cuevas Monzonís; V. Gabarda Méndez
Competencia digital ciudadana: análisis de tendencias en el ámbito educativo

relacionada con este tema ofreciendo, igualmente, información acerca de la

productividad, la colaboración, el impacto y la difusión. En relación al contenido,
se pondrá el foco específicamente sobre algunas categorías específicas como la
etapa educativa en que se centran los estudios, el número de participantes, el área
competencial específica que se trabaja o los resultados que se derivan, tomando
como referencia para ello el Marco Digcomp 2.1.

LA COMPETENCIA DIGITAL CIUDADANA

Los modos de comunicarnos y relacionarnos se han visto condicionados, en las

últimas décadas, por la integración de las tecnologías en las diferentes esferas de
desarrollo. De esta manera, los contextos profesionales, académicos y personales
han cambiado, adaptándose a las nuevas circunstancias, que hacen preciso que los
ciudadanos adquieran y desarrollen nuevas destrezas que les permitan interactuar
en todas ellas de un modo eficaz.
No es de extrañar, bajo esta coyuntura, que las diferentes administraciones
hayan dedicado esfuerzos a identificar una serie de competencias elementales
para la competencia digital ciudadana, así como estrategias específicas para tratar
de promoverlas. Una de las propuestas más importantes es la que ofrece la Unión
Europea y que se materializa en el Marco de Competencia Digital para los Ciudadanos
– DigComp, que cuenta con varias versiones. La primera de ellas, la versión 1.0.
(2013) servía para realizar una primera aproximación a las áreas de competencia, que
fueron actualizadas en la versión 2.0. (2016). Por su parte, la versión más reciente, la
versión 2.1. (2017) aporta, además, algunos ejemplos para su aplicación en el ámbito
educativo y de la empleabilidad.
El resultado de todo este proceso es un planteamiento de cinco áreas
competenciales y 21 descriptores o competencias específicas vinculadas a las áreas
(ver tabla 1). Además, establece 8 niveles de desarrollo para cada una de las 21
competencias, permitiendo identificar de este modo las necesidades específicas
vinculadas a cada una de ellas.

Tabla 1
Áreas y competencias del Marco de Competencia Digital para los Ciudadanos
(DigComp 2.1.)

Áreas
Competencias
competenciales
Navegación, búsqueda y filtrado de información, datos y contenido
Información y
digital
alfabetización
Evaluación de datos, información y contenido digital
informacional
Gestión de datos, información y contenido digital

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 329-349.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 331
 D. Marín Suelves; N. Cuevas Monzonís; V. Gabarda Méndez
Competencia digital ciudadana: análisis de tendencias en el ámbito educativo

Áreas
Competencias
competenciales
Interacción mediante tecnologías digitales
Compartir mediante tecnologías digitales
Comunicación y Participación ciudadana en línea
colaboración Colaboración mediante tecnologías digitales
Netiqueta
Gestión de la identidad digital
Desarrollo de contenidos digitales
Creación de Integración y reelaboración de contenidos digitales
contenidos digitales Derechos de autor y licencias
Programación
Protección de dispositivos
Protección de datos personales y privacidad
Seguridad
Protección de la salud y el bienestar
Protección del entorno
Resolución de problemas técnicos
Resolución de Identificación de necesidades y respuestas tecnológicas
problemas Uso creativo de las tecnologías digitales
Identificación de lagunas en la competencia digital
Fuente: Elaboración propia

Podría considerarse, además, que estos planteamientos han adquirido una

nueva dimensión en la situación derivada de la COVID-19, donde la utilización de las
tecnologías ha aumentado (Consell del Audiovisual de Catalunya, 2020) tanto en el
ámbito del ocio como en el académico. En este último, se ha generado la necesidad
de diseñar e implementar nuevas modalidades formativas derivadas del cierre de los
centros educativos (Zubillaga y Gortazar, 2020) y dando lugar a modelos híbridos
que han tratado de trasladar a una modalidad en línea las actividades programadas
inicialmente en un entorno presencial (García-Planas y Taberna, 2020). Esta
situación ha puesto de manifiesto, entre otras cuestiones, que sigue existiendo una
laguna importante por parte de los diferentes agentes de la comunidad educativa en
materia de competencia digital (Alonso y Expósito, 2020; Murillo y Duk, 2020), y
que esto puede repercutir en un diseño inadecuado de las acciones formativas que
pueden generar desigualdades y controversias (Díez y Gajardo, 2020).

LA INTEGRACIÓN DE LA COMPETENCIA DIGITAL CIUDADANA EN

EL CURRÍCULUM: ANÁLISIS NORMATIVO

Como se apuntaba anteriormente, la Comisión Europea (2006; 2018) identificó

la competencia digital como una de las competencias clave para el aprendizaje
permanente. Este hecho sirvió para poner de manifiesto la importancia de que todos

332 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 329-349.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 D. Marín Suelves; N. Cuevas Monzonís; V. Gabarda Méndez
Competencia digital ciudadana: análisis de tendencias en el ámbito educativo

los ciudadanos desarrollen destrezas específicas en materia digital, poniendo esta

competencia a la misma altura que la competencia lingüística o la matemática.
Además, el reconocimiento de la competencia digital a nivel internacional
sirvió igualmente para que las diferentes administraciones educativas comenzaran
a implementar políticas para su integración curricular en las diferentes etapas,
promoviendo su adquisición desde el ámbito educativo.
Por ejemplo, en el sistema educativo español, las primeras alusiones aparecen en
la Ley Orgánica de Educación (2006), que fueron posteriormente materializadas en las
normativas curriculares de Educación Infantil, Primaria, Secundaria y de Educación
Superior, así como en la Ley Orgánica para la Mejora de la Calidad Educativa (2013)
que siguen vigentes a día de hoy. Concretamente, esta última normativa contempla,
desde el propio preámbulo, que las TIC son uno de los aspectos fundamentales para
la reforma educativa y para el aprendizaje de los ciudadanos a lo largo de la vida,
poniendo de manifiesto los beneficios para el diseño e implementación de los procesos
de enseñanza y aprendizaje, así como su potencial para la individualización de estos
procesos y la atención a la diversidad. En esta línea, y derivado del reconocimiento
de la competencia digital como competencia clave, se plantea su integración de un
modo transversal en el currículum, considerando que debe abordarse en el marco de
las diferente materias y asignaturas. Este abordaje se concibe desde una óptica no sólo
instrumental, sino también actitudinal, considerando que el sistema educativo debe
promover el uso responsable y ordenado de las tecnologías. Es importante reseñar,
en el contexto del presente trabajo, que se considera uno de los fines del sistema
educativo la preparación para el ejercicio de la ciudadanía y para la participación
activa en la vida económica, social y cultural, con actitud crítica y responsable y con
capacidad de adaptación a las situaciones cambiantes propias de la sociedad del
conocimiento, siendo implícita la necesidad de formar a los ciudadanos en aquellas
cuestiones que definen la sociedad en que vivimos.
Este punto de partida legislativo evidencia un interés institucional por la
promoción de la competencia digital ciudadana por parte de la administración
educativa (al menos desde un punto de vista normativo) y pone de manifiesto algunas
directrices básicas de su integración como el abordaje transversal, su consideración
eminentemente instrumental y la escasa vinculación con el desarrollo de la
ciudadanía. Sin embargo, este planteamiento normativo ha permitido la generación
de múltiples experiencias en el contexto educativo nacional e internacional donde se
ha tratado de promover la competencia digital de los estudiantes de las diferentes
etapas. Ejemplo de ello son los trabajos de López et al. (2019a) centrado en Educación
Infantil, el estudio de Casado y Checa (2020) desarrollado en Educación Primaria,
la propuesta de López et al. (2019b) contextualizado en Educación Secundaria o la
investigación de Colomo et al. (2020) desarrollado en Educación Superior.
El análisis de esta cuestión en el sistema educativo español servirá de punto
de partida para el presente estudio, que tiene por objetivo analizar la producción
científica relacionada con la promoción de la competencia digital ciudadana en la

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 329-349.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 333
 D. Marín Suelves; N. Cuevas Monzonís; V. Gabarda Méndez
Competencia digital ciudadana: análisis de tendencias en el ámbito educativo

última década desde un punto de vista bibliométrico y de contenido, tratando de

tener una visión más holística del relieve que tiene este fenómeno en los diferentes
sistemas educativos.

MÉTODO

Este estudio descriptivo de carácter restrospectivo (Moreno, 2019) se ha realizado

desde la perspectiva cienciométrica. Los estudios bibliométricos permiten mostrar
un panorama general de un campo de estudio y las tendencias en investigación
(Zulueta y Bordons, 1999) a través de la cuantificación de los rasgos fundamentales
de la literatura científica, como en este caso la competencia digital en el contexto
educativo para el desarrollo de la ciudadanía del siglo XXI.
Se utilizaron como bases de datos Scopus, por su reconocido prestigio (García et
al., 2020) y WOS, para superar limitaciones de estudios previos (Abad-Segura et al.,
2020; Campos et al., 2020).
La búsqueda se realizó el 1 de julio de 2020, para conocer la tendencia de este
año. Los términos utilizados para la búsqueda fueron: digital competence OR digital
skills AND education AND citizens OR society, en título, palabras clave y resumen.
Se decidió no incluir términos relacionados de manera exclusiva con cada una de
las diferentes áreas, bajo la idea de que la competencia digital ciudadana se vertebra
de un modo integral. Se incluyeron todos los artículos excepto los de revisión y los
criterios de exclusión fueron: repeticiones, teóricos, validaciones de instrumentos,
no centrados en el objeto de estudio y otra tipología de documentos. Sin utilizar filtro
temporal se seleccionaron un total de 87 para su análisis, publicados en la última
década. En la figura 1 se muestra el proceso siguiendo el Método PRISMA (Urrútia
y Bonfill, 2010). Los artículos fueron seleccionados con una elevada fiabilidad
intersujetos y un grado de acuerdo muy bueno (Altman, 1991) con un resultado en la
prueba kappa de Cohen de 0,8849.

334 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 329-349.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 D. Marín Suelves; N. Cuevas Monzonís; V. Gabarda Méndez
Competencia digital ciudadana: análisis de tendencias en el ámbito educativo

Figura 1
Diagrama de flujo (método PRISMA)
IDENTIFICACIÓN

Documentos con palabras

clave
Scopus
WOS
n= 295
n= 103

Documentos restringidos a
ELEGIBILIDAD
CRIBADO Y

artículos
Scopus Documentos excluidos
WOS n= 210
n= 155
n= 33

Documentos incluidos en
análisis bibliométrico
Scopus Documentos excluidos
WOS n= 123
n= 78
n= 9
INCLUSIÓN

Documentos incluidos en
análisis de contenido Documentos excluidos (no
Scopus disponibles en acceso
WOS abierto)
n= 38 n= 47
n= 9

En segundo lugar, y para complementar la información obtenida en el estudio

bibliométrico, se realizó un análisis de contenido, a partir de los 47 artículos
disponibles en acceso abierto en ambas bases de datos.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 329-349.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 335
 D. Marín Suelves; N. Cuevas Monzonís; V. Gabarda Méndez
Competencia digital ciudadana: análisis de tendencias en el ámbito educativo

El análisis se realizó a partir de indicadores bibliométricos de productividad,

colaboración, dispersión e impacto (Aleixandre, 2010) y el análisis de contenido a
través de una ficha elaborada ad hoc en la que se describió la muestra, las etapas
educativas, las áreas y los resultados obtenidos.
Para la representación gráfica de los resultados se utilizó la herramienta de
software VOSviewer versión 1.6.11 (Van Eck y Waltman, 2011).

RESULTADOS

A fin de dar respuesta a los objetivos del estudio, se ofrecen a continuación los
resultados organizados en dos bloques: el análisis bibliométrico y el análisis de
contenido.

Análisis bibliométrico

En primer lugar, respecto a la productividad científica, se analizó la cantidad de

documentos publicados, sin limitar a un área ni a un periodo concreto. En la figura
2 se puede observar una tendencia ascendente en la última década, y destacan los
datos de 2020, dados los artículos publicados en el primer semestre.

Figura 2
Artículos por año (Scopus y Web of Science)

336 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 329-349.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 D. Marín Suelves; N. Cuevas Monzonís; V. Gabarda Méndez
Competencia digital ciudadana: análisis de tendencias en el ámbito educativo

Con base en la ley de Lotka, se confirma que en este campo los productores son
ocasionales, ya que, todos ellos cuentan con tan solo una publicación, excepto Gréta
Börjk Gudmundóttir de la Universitetet i Oslo (Hardersen y Gudmundsdóttir, 2012;
Hatlevik et al., 2015) y Rosa García-Ruiz de la Universidad de Cantabria (Amor et al.,
2015; García-Ruiz et al., 2014; García-Ruiz et al., 2020) que han colaborado en dos
y tres artículos respectivamente.
En cuanto al peso de cada país en el abordaje de la competencia digital ciudadana
a través de la publicación de artículos científicos, es destacable el papel de España,
que cuenta con casi la mitad de las publicaciones (48,3%), seguida de países como
EEUU (5,7%), Italia (4,6%) o Suecia (4,6%). Pero, además, existen artículos escritos
desde 32 países, pertenecientes a 4 continentes, tan distantes y diferentes como
Colombia (Conde et al., 2017) e India (Nedungadi et al., 2018), lo que indica el
amplio interés por el análisis de este tema a nivel mundial. A pesar del dato anterior,
el idioma elegido para la difusión del conocimiento es el inglés en la mayoría de los
artículos (65,5%), seguido del español (28,7%).
En segundo lugar, destaca la existencia de importantes redes de colaboración
entre investigadores, ya que, son 247 autores los que firman los 87 artículos
analizados. En la tabla 2 se muestra como la mayoría de los artículos fueron escritos
por dos o más autores (82,8%), siendo el artículo de Jara et al. (2015) el que cuenta
con un mayor número de autores.

Tabla 2
Número de autores por artículo

Número de autores N %
1 15 17,2
2 16 18,4
3 34 39,1
4 10 11,5
5 9 10,3
Más de 5 3 3,4
Fuente: Elaboración propia

Analizando la filiación de los autores predominan las colaboraciones entre

miembros de una misma institución (51,4%) o de instituciones ubicadas en un
mismo territorio (ciudad, Estado o país) que representan un 32%, mientras que, un
13,9% son artículos firmados por autores de diferentes países, como el de Ascencio
et al. (2019), procedentes de Chile, México y España, o el firmado por Cook et al.
(2018), que cuenta con representantes de EEUU, Canadá y Países Bajos.
En tercer lugar, la dispersión analizada mediante la ley de Bradford, relaciona
el número de revistas y los artículos publicados sobre una temática. En este caso

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 329-349.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 337
 D. Marín Suelves; N. Cuevas Monzonís; V. Gabarda Méndez
Competencia digital ciudadana: análisis de tendencias en el ámbito educativo

el núcleo está formado por un número de revistas reducido (n=10) en las que se
han publicado un cuarto de los artículos analizados (n=22). Mientras que no es
posible diferenciar entre la zona 1 y 2, ya que, el resto de artículos no se concentran
en ninguna revista, sino que cada uno de los 65 artículos restantes aparecen en una
revista diferente (n=65). Las revistas en las que aparecen mayor cantidad de artículos
centrados en la CDC son Profesorado y la Revista de Educación a Distancia, con tres
artículos en cada una de ellas.
En cuarto y último lugar, en el estudio bibliométrico se analizó la visibilidad o
impacto de las publicaciones, partiendo de las áreas de conocimiento desde las que
se generan artículos científicos, las instituciones, las citas que recibe cada documento
y la red de citación entre autores.
Por lo que respecta a las áreas de conocimiento desde las que se genera el
conocimiento en torno a la CDC, es predominante el peso del área de las Ciencias
Sociales (48,7%), la Psicología (14,9%) y la Informática (13,8%), pero existen
documentos generados desde otras áreas como la Ingeniería (11,5%), las Artes y
Humanidades (4,6%) o las Ciencias de la Salud (2,3%).
En este campo firman los artículos investigadores pertenecientes a instituciones
de Educación Superior entre las que destacan las universidades españolas de
Salamanca, Granada o Valencia, y con financiación de fundaciones, asociaciones o
ministerios.
En cuanto al impacto medido por las citas recibidas, la tabla 3 evidencia un
impacto nulo o escaso de los artículos, ya que, más de ¾ de ellos han recibido un
máximo de 10 citas, mientras que sólo dos artículos superan el centenar (Calvani et
al., 2012; Gutiérrez y Tyner, 2012).

Tabla 3
Número de citas

Número de citas N %
0 34 39,1
entre 1 y 10 37 42,5
entre 11 y 20 11 12,6
entre 21 y 30 1 1,1
entre 31 y 40 2 2,2
100 o más 2 2,2
Fuente: Elaboración propia

Para finalizar, en la figura 3 se muestra la red de citación entre autores

apareciendo investigadores de reconocido prestigio en el estudio del impacto de las
tecnologías en educación.

338 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 329-349.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 D. Marín Suelves; N. Cuevas Monzonís; V. Gabarda Méndez
Competencia digital ciudadana: análisis de tendencias en el ámbito educativo

Figura 3
Red de citación entre autores (Vosviewer)

Análisis de contenido

El análisis de contenido se realiza a través de la exploración de cuatro categorías:

la etapa educativa en que se centra el estudio, el número de participantes que
compone la muestra, las áreas del Marco Digcomp que se trabajan y los resultados
que se derivan de los estudios. Se aborda, de este modo, el análisis de la producción
científica de un modo más holístico, tratando de dar respuesta a la limitación de la
bibliometría, centrada tradicionalmente en el cómputo de publicaciones (Aleixandre-
Benavent et al., 2017).
Respecto a la primera categoría, centrada en las etapas educativas en las que
se fomenta la competencia digital ciudadana, la mayor parte de los estudios se
concentran en Educación Superior (Aguilar et al., 2020; Aleandri y Consoli, 2020;
Ata y Yildirim, 2019; McGuiness y Fulton, 2019; Napal et al., 2018), siendo reseñable
que se contextualizan casi todos ellos en la rama de Ciencias Sociales. Es igualmente
destacable que, en los diversos estudios se contempla el abordaje de esta competencia
de modos muy diversos. Desde el enfoque curricular, Napal et al. (2018) apuestan
por un diseño transversal desde las diferentes áreas del marco Digcomp 2.1.,
mientras que Ata y Yildirim (2019), por ejemplo, realizan una formación específica
para el profesorado en formación sobre el desarrollo de esta competencia. También
son diversas las metodologías que se utilizan para ello, pudiendo observarse la
autobiografía como recurso para el abordaje de este fenómeno (Aleandri y Consoli,

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 329-349.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 339
 D. Marín Suelves; N. Cuevas Monzonís; V. Gabarda Méndez
Competencia digital ciudadana: análisis de tendencias en el ámbito educativo

2020) o su desarrollo mediante el aprendizaje de otros conceptos curriculares

(Aguilar et al., 2020). También es reseñable la cantidad de artículos que se centran
en la escolaridad obligatoria, especialmente en la etapa de Educación Primaria
(Fraga-Varela et al., 2019; García-Ruiz et al., 2020; Lores et al., 2019; Pérez-Escoda
et al., 2016) o que combinan los resultados de estas etapas con otras, como Infantil
o Secundaria (Castro et al., 2019; Fajardo et al., 2016; Monteagudo-Fernández et al.,
2020). En el caso de estas publicaciones, vinculadas a la escolaridad pre-obligatoria
y postobligatoria, es subrayable también la variedad de enfoques y conceptos con
que se vincula la competencia digital ciudadana: en algunos casos se vincula con
cuestiones curriculares como la lectura (Fajardo et al. 2016), mientras que, en otros,
se asocia en mayor medida con cuestiones vinculadas a la esfera más personal (Lores
et al., 2019; Pérez-Escoda et al., 2016).
En relación a la segunda categoría, orientada al número de participantes en
investigaciones, se encuentra algo de dispersión. De este modo, hay grandes muestras
de participantes como las de García-Ruiz et al. (2020) o Gros et al. (2012), que superan
el millar; otros estudios con muestras menos numerosas, aunque destacables como
las de Basantes-Andrade et al. (2020), Llorent-Vaquero et al. (2020) o Amor et al.
(2015); y otras muestras más pequeñas (menores de 100 participantes) como las que
presentan Gregmigni (2018), Hervás-Torres (2020) o Shopova (2014).
Analizando, como tercera categoría, las áreas del Marco de Competencia Digital
que se abordan en los estudios, lo más habitual es que se analicen cuestiones
asociadas a las cinco áreas (1. Información y alfabetización informacional; 2)
Comunicación y colaboración; 3) Creación de contenidos digitales; 4) Seguridad
y 5) Resolución de problemas). Este es el caso, por ejemplo, de las propuestas de
Bolek et al. (2018), Esteve-Mon et al. (2019) o Hinojo-Lucena et al. (2019). También
resulta reseñable que, cuando las investigaciones se centran en una única área, suele
ser en la de Información y alfabetización informacional, como las de Dolničar et al.
(2020) y Valverde-Crespo et al. (2018) o de esta área con alguna otra, como en los
casos de Marta-Lazo et al. (2019) y Maureen et al. (2020). En todo caso, es reseñable
que, independientemente del área que se desee desarrollar, se proponen contextos
de aprendizaje de carácter transversal, como un SMOOC (Marta-Lazo et al., 2019)
y metodologías globales como el storytelling (Maureen et al., 2020) o la robótica
(Esteve-Mon et al., 2019), no pudiendo inferirse una relación inequívoca entre el
método y el área.
En último lugar, atendiendo a los resultados de las investigaciones y, más
concretamente al abordaje de la competencia digital en ellas, se concluye que la
integración de Tecnologías de la Información y la Comunicación en los procesos
de enseñanza y aprendizaje contribuyen a una mejora de la competencia tanto en
el contexto escolar inmediato (McGuiness y Fulton, 2019) como en el aprendizaje
a lo largo de la vida (Aleandri y Consoli, 2020). Los niveles competenciales son
mayores en las áreas de Información y alfabetización informacional (Ata y Yildirim,
2019; Shopova, 2014) y en la de Comunicación (Fraga-Varela et al., 2019; Llorent-

340 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 329-349.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 D. Marín Suelves; N. Cuevas Monzonís; V. Gabarda Méndez
Competencia digital ciudadana: análisis de tendencias en el ámbito educativo

Vaquero et al., 2020). Además, se concluye que el nivel de competencia digital está
relacionado con la edad (Basantes-Andrade et al., 2020; Mirke et al., 2019) y el nivel
educativo (Dolničar et al., 2020), así como de factores organizativos que están más
allá de los roles docentes y discentes (Hinojo-Lucena et al., 2019; Sjöberg y Lilja,
2019). Por último, se concluye que los procesos formativos donde se contempla el
abordaje de la competencia digital tiene un impacto positivo sobre el desarrollo de
cuestiones como la atención a la diversidad (Castro et al., 2019), la comprensión de
los contenidos (Aguilar et al., 2020), el empoderamiento y participación ciudadana
(Cabero-Almenara et al., 2019), el pensamiento computacional (Esteve-Mon et al.,
2019), el compromiso profesional (Hervás-Torres, 2020), el trabajo colaborativo
(Aleandri y Consoli, 2020) o la motivación (Maureen et al., 2020), consideradas
todas ellas destrezas básicas para el desarrollo de una ciudadanía efectiva en la
sociedad en que vivimos.
Para finalizar el análisis de contenido, la figura 4 presenta un mapa de co-
ocurrencia, con los términos más habituales de los estudios analizados. Asimismo, el
mapa recoge la tendencia de los conceptos a aparecer juntos, permitiendo identificar
tres clusters principales de contenido. El primero de ellos, en azul, articula los
conceptos claves que giran en torno a los dos ejes de nuestro estudio (educación
y destrezas digitales), relacionándose con una gran cantidad de términos como
ciudadanía, ciudadanía digital, internet, brecha digital, enseñanza o alfabetización
mediática. Por otro lado, el cluster en color amarillo ayuda a trasladar estos conceptos
a los procesos formativos, girando en torno al término “competencia digital”
y asociándose a conceptos como Educación Primaria o Educación Secundaria.
Por último, el cluster de color verde completa nuestro mapa, identificando a los
estudiantes como principal agente en los estudios analizados, así como la Educación
Superior, etapa donde se concentran la mayor parte de ellos y la alfabetización
digital, objetivo básico de los estudios.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 329-349.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 341
 D. Marín Suelves; N. Cuevas Monzonís; V. Gabarda Méndez
Competencia digital ciudadana: análisis de tendencias en el ámbito educativo

Figura 4
Mapa de co-ocurrencia (VosViewer)

Estos datos ayudan a entender que, en la situación actual derivada del COVID-19,
el alcance de los estudios sobre competencia digital ciudadana ha de concebirse desde
una perspectiva amplia, teniendo impacto en las diferentes etapas educativas y sobre
elementos diversos (personales e instrumentales) que conforman los escenarios
formativos.

DISCUSIÓN Y CONCLUSIONES

La producción científica relacionada con la competencia digital ciudadana ha

sido un fenómeno en auge en los últimos años. Es lógico si se tiene en cuenta que
hasta finales de la década pasada no cristalizó el concepto y, durante la presente, se
han diseñado e implementado estudios y experiencias para fomentar su desarrollo
en los diferentes contextos.

342 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 329-349.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 D. Marín Suelves; N. Cuevas Monzonís; V. Gabarda Méndez
Competencia digital ciudadana: análisis de tendencias en el ámbito educativo

Atendiendo a los resultados de este estudio bibliométrico, frente a otros estudios

anteriores relacionados con las tecnologías y la educación (Abad-Segura et al.,
2020), destacan de manera relevante que gran parte de ella se concentra en España,
dando sentido al reconocimiento de la competencia digital como competencia clave
y las directrices establecidas en sus normativas para su integración curricular. Sin
embargo, los resultados coinciden con estos otros en que el idioma predominante
es el inglés, poniendo de manifiesto el interés de los investigadores por difundir sus
estudios a nivel internacional, y en que suelen ser, mayoritariamente, publicaciones
que se realizan en coautoría (dos o tres autores de la misma institución). El peso de
las áreas de Ciencias Sociales y Psicología, como en el trabajo de Marín et al. (2020),
evidencia la importancia del desarrollo de esta competencia en el ámbito educativo.
Asimismo, es especialmente reseñable la producción científica del último año, 2020,
que puede guardar relación con la necesaria implementación de formación híbrida
o en línea asociada a la situación derivada de la COVID-19 en diferentes etapas
educativas.
En relación al análisis de contenido, puede verse una integración creciente de la
competencia digital ciudadana en las diferentes etapas, aunque está más presente
en educación superior. Aun así, el enfoque con que se aborda en las diferentes
etapas parece tener ciertas similitudes, siendo habitual que se trabaje de un modo
transversal y mediante herramientas y metodologías de carácter diverso. Este
hecho, sin embargo, debería contraponerse con la literatura científica acerca de la
competencia digital de los docentes, considerando que la destreza de este colectivo
tiene un impacto directo tanto en la calidad de los diseños formativos como en los
resultados que finalmente puedan inferirse de cada uno de los estudios.
Por último, en cuanto a las limitaciones de este estudio se encuentra el acceso
restringido a algunos documentos y la reciente publicación de la mayor parte de
los artículos lo que explica el escaso impacto obtenido, siendo este un aspecto que
resultaría interesante analizar pasado un tiempo, en combinación con el análisis
de las altmétricas (Sixto et al., 2019). Asimismo, convendría incluir en el análisis
otras bases de datos reconocidas que permitieran dotar al estudio de un carácter
más global, así como utilizar de manera específica las diferentes áreas del marco
Digcomp 2.1. como términos de búsqueda para partir del análisis realizado desde una
perspectiva integral en este trabajo a un estudio con base en las áreas que componen
la competencia digital.

REFERENCIAS

Abad-Segura, E., González-Zamar, M. D., Aguilar, I., Alejo, V. A., y Ayala, J. (2020).
de la Rosa, A. L., y Gallardo-Pérez, J. Desarrollo de objetos de aprendizaje para
(2020). Gestión de la economía digital el aprendizaje de las estructuras de datos.
en la educación superior: tendencias y Innoeduca. International Journal of
perspectivas futuras. Campus Virtuales, Technology and Educational Innovation,
9(1), 57-68.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 329-349.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 343
 D. Marín Suelves; N. Cuevas Monzonís; V. Gabarda Méndez
Competencia digital ciudadana: análisis de tendencias en el ámbito educativo

6(1), 42-55. [Link] Education, 18, 419-436. [Link]

innoeduca.2020.v6i1.5297 org/10.28945/4392
Aleandri, G., y Consoli, E. (2020). Basantes-Andrade, A., Cabezas-González,
Autobiographical methods and coding for M., y Casillas-Martín, S. (2020). Digital
increasing self-awareness and transversal competences relationship between gender
skills. Journal of Educational, Cultural and generation of university professors.
and Psychological Studies, 21, 275-300. International Journal of Advanced
[Link] Science, Engineering and Information
alea Technology, 1, 205-2011. [Link]
Aleixandre, R. (2010). Bibliometría e org/10.18517/ijaseit.10.1.10806
indicadores de producción científica. Bolek, V., Kokles, M., Romanová, A., y
En J. Jiménez, J. M. Argimon, A. Zelina, M. (2018). Information literacy of
Martín y T. Vilardell (Eds.), Publicación managers: Models and factors. Journal of
científica biomédica: cómo escribir y Business Economics and Management,
publicar un artículo de investigación, 19(5), 722-741. [Link]
363-384. Editorial Elsevier. https:// jbem.2018.6906
[Link]/10.1016/B978-84-8086-461- Cabero-Almenara, J., Torres-Barzabal, L.,
9.50027-8 y Hermosilla-Rodríguez, J.M. (2019).
Aleixandre-Benavent, R., González, J., Las TIC y la creación de una ciudadanía
Castelló, L., Navarro, C., Alonso-Arroyo, crítica e-digital. Education in the
A., Vidal-Infer, A., y Lucas-Domínguez, Knowledge Society, 20, 1-10. [Link]
R. (2017). Bibliometría e indicadores de org/10.14201/eks2019_20_a22
actividad científica (II). Indicadores de Calvani, A., Fini, A., Ranieri, M., y Picci,
producción científica en pediatría. Acta P. (2012). Are young generations in
Pediátrica Española, 75(3-4), 44-50. secondary school digitally competent?
Alonso, F. M., y Expósito, J. (2020). De A study on italian teenagers. Computers
una escuela presencial a la virtual en 24 and Education, 58(2), 797-807. https://
horas, ¿es posible? Aula de Innovación [Link]/10.1016/[Link].2011.10.004
Educativa, 293, 22-26. Campos, M. N., Navas-Parejo, M. R., y
Altman, D. (1991). Practical statistics for Moreno, A. J. (2020). Realidad virtual
medical research. CRC Press. [Link] y motivación en el contexto educativo:
org/10.1201/9780429258589 Estudio bibliométrico de los últimos veinte
Amor, M., Pérez-García, A., y García-Ruiz, años de Scopus. ALTERIDAD. Revista
R. (2015). La competencia mediática de Educación, 15(1), 47-60. [Link]
en educación infantil. Análisis del nivel org/10.17163/alt.v15n1.2020.04
de desarrollo en España. Universitas Carretero, S., Vuorikari, R., y Punie, Y.
Psychologica, 14(2), 619-630. [Link] (2017). DigComp 2.1: The Digital
org/10.11144/[Link] Competence Framework for Citizens with
Ascencio, P., Glasserman, L. G., y Quintana, eight proficiency levels and examples of
J. (2019). Digital competences: Reality of use. [Link]
students starting university life. Digital Casado, R., y Checa, M. (2020). Robótica
Education Review, 36, 68-84. y Proyectos STEAM: Desarrollo de la
Ata, R., y Yildirim, K. (2019). Turkish pre- creatividad en las aulas de Educación
service teachers’ perceptions of digital Primaria. Píxel-Bit. Revista de Medios
citizenship in education programs. y Educación, 58, 51-69. [Link]
Journal of Information Technology org/10.12795/pixelbit.73672

344 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 329-349.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 D. Marín Suelves; N. Cuevas Monzonís; V. Gabarda Méndez
Competencia digital ciudadana: análisis de tendencias en el ámbito educativo

Castro, M., Marín, D., y Saiz, H. (2019). Díez, E. J., y Gajardo, K. (2020). Educar y
Competencia digital e inclusión educativa. evaluar en tiempos de Coronavirus: la
Visiones de profesorado, alumnado situación en España. Multidisciplinary
y familias. Revista de Educación Journal of Educational Research, 10(2),
a Distancia, 19(61). [Link] 102-134. [Link]
org/10.6018/red/61/06 remie.2020.5604
Colomo, E., Gabarda, V., Cívico, A., y Cuevas, Dolničar, D., Podgornik, B.B., Bartol, T.,
N. (2020). Percepción de estudiantes y Šorgo, A. (2020). Added value of
sobre el uso del videoblog como recurso secondary school education toward
digital en educación superior. Píxel-Bit development of information literacy
Revista de Medios y Educación, Preprint. of adolescents. Library & Information
[Link] Science Research, 42(2). [Link]
Comisión Europea (2006). Recomendación org/10.1016/[Link].2020.101016
2006/962/CE del Parlamento Europeo Esteve-Mon, F. M., Adell-Segura, J., Nebot,
y del Consejo, de 18 de diciembre de M. A., Novella, G. V., y Aparicio, J. P.
2006, sobre las competencias clave para (2019). The development of computational
el aprendizaje permanente. Diario Oficial thinking in student teachers through an
de la Unión Europea de 30.12.2006. intervention with educational robotics.
[Link] Journal of Information Technology
ES/TXT/?uri=celex%3A32006H0962 Education: Innovations in Practice, 18,
Consejo Europeo (2018). Recomendación del 139-152. [Link]
Consejo de 22 de mayo de 2018 relativa a Fajardo, I., Vilalta, E., y Salmerón, L. (2016).
las competencias clave para el aprendizaje ¿Son realmente tan buenos los nativos
permanente. Diario Oficial de la Unión digitales? Relación entre las habilidades
Europea de 04.06.2018. [Link] digitales y la lectura digital. Anales de
[Link]/legal-content/ES/TXT/ Psicología, 32(1), 89-97. [Link]
PDF/?uri=CELEX:32018H0604(01)&- org/10.6018/analesps.32.1.185571
from=SV Fraga-Varela, F., Vila-Couñago, E., y
Conde, E., Trujillo, J. J., y Castaño, H. Pernas-Morado, E. (2019). Aprendizajes
(2017). Deciphering the curriculum ausentes en la Competencia Digital de
through ICT: An interactive vision on the preeadolescentes: Un estudio de casos
digital competences of students of sports pertenecientes a contextos socioculturales
science and physical activity. Revista de desfavorables. Revista de Educación
Humanidades, 31, 195-214. a Distancia, 19(61). [Link]
Consell del Audiovisual de Cataluña org/10.6018/red/61/04
(2020). Boletín de información sobre el García, I., Gallardo-López, J. A., y López-
audiovisual en Cataluña (BIAC). Núm. Noguero, F. (2020). La inteligencia
extra. Especial coronavirus 2. Barcelona: emocional y la educación emocional en la
CAC, Mayo de 2020. [Link] escuela: un estado de la cuestión a través
cat/sites/default/files/2020-05/BIAC_ del análisis bibliométrico de la producción
Coronavirus2_ES.pdf científica en Scopus (2015-2019). En J.
Cook, K., Cakirlar, C., Goddard, T., Demuth, A. Marín, G. Gómez, M. Ramos y M. N.
R. C., y Wells, J. (2018). Teaching open Campos (Eds.), Inclusión, tecnología y
science: Published data and digital literacy sociedad. Dyckinson S. L. (pp. 220-231).
in archaeology classrooms. Advances in García-Planas, M. I., y Taberna, J. (2020).
Archaeological Practice, 6(2), 144-156. The transition from the classroom to
[Link] non-classroom teaching at the UPC

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 329-349.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 345
 D. Marín Suelves; N. Cuevas Monzonís; V. Gabarda Méndez
Competencia digital ciudadana: análisis de tendencias en el ámbito educativo

during the COVID-19 pandemic. IJERI: Hatlevik, O. E., Gudmundsdóttir, G. B.,

International Journal of Educational y Loi, M. (2015). Examining factors
Research and Innovation, (15), 177-187. predicting students’ digital competence.
[Link] Journal of Information Technology
García-Ruiz, R., Da Mota, A. P., Arenas- Education, 14(1), 123-137. [Link]
Fernández, A., y Ugalde, C. (2020). org/10.28945/2126
Alfabetización mediática en Educación Hervás-Torres, M. (2020). El entorno wiki
Primaria. Perspectiva internacional del y su aplicación didáctica innovadora.
nivel de competencia mediática. Píxel- Revista de Educación a Distancia, 20(62).
Bit. Revista de Medios y Educación, [Link]
58, 217-236. [Link] Hinojo-Lucena, F. J., Aznar-Díaz, I.,
pixelbit.74535 Cáceres-Reche, M. P., Trujillo-Torres, J.
García-Ruiz, R., Ramírez-García, A., y M., y Romero-Rodríguez, J. M. (2019).
Rodríguez-Rosell, M. (2014). Media Factors Influencing the Development of
literacy education for a new prosumer Digital Competence in Teachers: Analysis
citizenship. Comunicar, 43, 15-23. of the Teaching Staff of Permanent
[Link] Education Centres. IEEE Access, 7,
Gobierno de España (2006). Ley Orgánica 178744-178752. [Link]
2/2006, de 3 de mayo, de Educación. ACCESS.2019.2957438
Boletín oficial del Estado, 106(4), 17158- Jara, I., Claro, M., Hinostroza, J. E., San
17207. Martín, E., Rodríguez, P., Cabello,
Gobierno de España (2013). Ley Orgánica T., Ibieta, A., y Labbé, C. (2015).
8/2013, de 9 de diciembre, para la mejora Understanding factors related to chilean
de la calidad educativa. Boletín Oficial del students’ digital skills: A mixed methods
Estado. [Link] analysis. Computers and Education,
[Link] 88, 387-398. [Link]
Gremigni, E. (2018). Overcoming new compedu.2015.07.016
forms of digital divide: Some remarks Llorent-Vaquero, M., Tallón-Rosales,
on the need for media education. Italian S., y Monasterio, B. H. (2020). Use
Sociological Review, 8(1), 81-102. http:// of information and communication
[Link]/10.13136/isr.v8i1.221 technologies (ICTs) in communication
Gros, B., García, I., y Escofet, A. (2012). and collaboration: A comparative study
Beyond the net generation debate: A between university students from Spain
comparison of digital learners in face-to- and Italy. Sustainability, 12(10). https://
face and virtual universities. International [Link]/10.3390/su12103969
Review of Research in Open and Distance López, J., Pozo, S., y López, G. (2019a).
Learning, 13(4), 190-2010. [Link] La eficacia de la Realidad Aumentada
org/10.19173/irrodl.v13i4.1305 en las aulas de Infantil: un estudio del
Gutiérrez, A., y Tyner, K. (2012). Educación aprendizaje de SVB y RCP en discentes
para los medios, alfabetización mediática de 5 años. Píxel-Bit. Revista de Medios
y competencia digital. Comunicar, 19(38), y Educación, 55, 157-178. [Link]
31-39. [Link] org/10.12795/pixelbit.2019.i55.09
2012-02-03 López, M., Garro, E., y Egaña, T. (2019b). La
Hardersen, B., y Gudmundsdóttir, G. B. lectura digital en un aula de secundaria:
(2012). The digital universe of young prácticas reales y dificultades del
children. Nordic Journal of Digital alumnado. Píxel-Bit. Revista de Medios
Literacy, 3, 221-226.

346 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 329-349.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 D. Marín Suelves; N. Cuevas Monzonís; V. Gabarda Méndez
Competencia digital ciudadana: análisis de tendencias en el ámbito educativo

y Educación, 55, 99-106. [Link] (2020). Percepciones de los estudiantes de

org/10.12795/pixelbit.2019.i55.06 Educación Secundaria sobre la enseñanza
Lores, B., Sánchez, S., y García, R. (2019). de la historia, a través del uso de las TIC
La formación de la Competencia y recursos digitales. Revista Electrónica
Digital en los Docentes. Profesorado. Interuniversitaria de Formación del
Revista de currículum y formación del Profesorado, 23(2), 67-79. [Link]
profesorado, 23(4), 234-260. [Link] org/10.6018/reifop.417611
org/10.30827/profesorado.v23i4.11720 Moreno, A. J. (2019). Estudio bibliométrico
Marín, D., Castro, M. M., Peirats, J., y de la Producción Científica sobre la
Rodríguez, J. (2020). Investigación Inspección Educativa. REICE. Revista
bibliométrica en aprendizaje mediado Iberoamericana sobre Calidad,
por tecnología en alumnado de Altas Eficacia y Cambio en Educación, 17(3),
Capacidades. Revista Brasileira 23-40. [Link]
de Educacao Especial, 26(2), 229- reice2019.17.3.002
246. [Link] Murillo, F. J., y Duk, C. (2020). El Covid-19
54702020v26e0076 y las Brechas Educativas. Revista
Marta-Lazo, C., Frau-Meigs, D., y Osuna- latinoamericana de educación inclusiva,
Alcedo, S. (2019). A collaborative digital 14(1), 11-13. [Link]
pedagogy experience in the tMOOC S0718-73782020000100011
“Step by Step”. Australasian Journal of Napal, N., Peñalva-Vélez, A., y Mendióroz,
Educational Technology, 35(5), 111-127. A. (2018). Development of digital
[Link] competence in secondary education
Maureen, I. Y., Van der Meij, H., y De teacher’s training. Education Sciences,
Jong, T. (2020). Enhancing Storytelling 8(3), 104-112. [Link]
Activities to Support Early (Digital) educsci8030104
Literacy Development in Early Childhood Nedungadi, P. P., Menon, R., Gutjahr, G.,
Education. International Journal of Erickson, L., y Raman, R. (2018). Towards
Early Chilhood, 52(1), 55-76. [Link] an inclusive digital literacy framework for
org/10.1007/s13158-020-00263-7 digital India. Education and Training,
McGuiness, C., y Fulton, C. (2019). Digital 60(6), 516-528. [Link]
literacy in higher education: A case ET-03-2018-0061
of study of student engagement with Pérez-Escoda, A., Castro-Zubizarreta, A., y
e-tutorials using blended learning. Fandos-Igado, M. (2016). Digital skills
Journal of Information Technology in the Z generation: Key questions for a
Education: Innovations in Practice, 18, curricular introduction in primary school.
1-28. [Link] Comunicar, 24(49), 71-79. [Link]
Mirke, E., Kasparová, E., y Cakula, S. org/10.3916/C49-2016-07
(2019). Adults’ readiness for online Shopova, T. (2014). Digital literacy of
learning in the Czech Republic and Latvia students and its improvement at the
(digital competence as a result of ICT university. Journal on Efficiency and
education policy and information society Responsibility in Education and Science,
development strategy. Periodicals of 7(2), 26-32. [Link]
Engineering and Natural Sciences, 7(1), eriesj.2014.070201
205-215. [Link] Sixto, A., Alonso, A., Lucas, R., González, J.,
v7i1.366 y Aleixandre, R. (2019). Bibliometría e
Monteagudo-Fernández, J., Rodríguez- indicadores de actividad científica (XIV):
Pérez, R. A., y Escribano-Miralles, A. Métricas alternativas o altmétricas.

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 329-349.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 347
 D. Marín Suelves; N. Cuevas Monzonís; V. Gabarda Méndez
Competencia digital ciudadana: análisis de tendencias en el ámbito educativo

Nuevas formas de medir el impacto de la la educación secundaria obligatoria actual:

ciencia. Acta Pediátrica Española, 77(3- Una revisión teórica. Revista Eureka,
4), 44-52. 15(2), 1-15. [Link]
Sjöberg, J., y Lilja, P. (2019). University Rev_Eureka_ensen_divulg_cienc.2018.
teachers’ ambivalence about the v15.i2.2105
digital transformation of higher Van Eck, N. J., y Waltman, L. (2011).
education. International Journal of Text mining and visualization using
Learning, Teaching and Educational VOSviewer. ISSI Newsletter, 7(3), 50-54.
Research, 18(13), 133-149. [Link] Zubillaga, A., y Gortazar, L. (2020).
org/10.26803/ijlter.18.13.7 COVID-19 y educación: Problemas,
Urrútia, G., y Bonfill, X. (2010). Declaración respuestas y escenarios. Fundación
PRISMA: una propuesta para mejorar la Cotec para la Innovación. [Link]
publicación de revisiones sistemáticas y ly/3auXnP8
metaanálisis. Medicina clínica, 135(11), Zulueta, M. A., y Bordons, M. (1999). A
507-511. [Link] global approach to the study of teams
medcli.2010.01.015 in multidisciplinary research areas
Valverde-Crespo, D., De Pro-Bueno, A., through bibliometric indicators. Research
y González-Sánchez, J. (2018). La Evaluation, 8(2), 111-118. [Link]
competencia informacional-digital en la org/10.3152/147154499781777612
enseñanza y aprendizaje de las ciencias en

PERFIL ACADÉMICO Y PROFESIONAL DE LOS AUTORES

Diana Marín Suelves. Las principales líneas de investigación en las que

ha centrado su interés han sido la intervención psicoeducativa, la atención a la
diversidad, la inclusión, el desarrollo positivo de niños y adolescentes y, como
miembro del Grupo de investigación CRIE (GIUV2013-105), la competencia digital
docente, las estrategias didácticas digitales y los procesos de digitalización de los
contenidos curriculares. [Link]
E-mail: [Link]@[Link]

DIRECCIÓN DE LA AUTORA
Facultad de Filosofía y Ciencias de la Educación
Avda. Blasco Ibáñez, 30
46010
Valencia (España)

Nuria Cuevas Monzonís. Su trayectoria investigadora se ha centrado

principalmente en dos líneas. Por un lado, trabaja sobre la familia como agente
educativo, siendo miembro del Grupo de Investigación e Intervención en Escuela
Violencia y Familia de la Universidad Internacional de Valencia, donde trabaja
actualmente como Profesora Adjunta al Área de Educación. Por otro lado, la
competencia digital docente constituye otra de sus líneas de trabajo fundamentales,

348 RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 329-349.
DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306
 D. Marín Suelves; N. Cuevas Monzonís; V. Gabarda Méndez
Competencia digital ciudadana: análisis de tendencias en el ámbito educativo

especialmente en la formación inicial y la implementación de metodologías

alternativas. [Link]
E-mail: [Link]@[Link]

DIRECCIÓN DE LA AUTORA
C/ Pintor Sorolla, 21
46002
Valencia (España)

Vicente Gabarda Méndez. Sus principales líneas de investigación se han

centrado en la formación del profesorado y la innovación educativa. Aborda ambas
cuestiones desde los dos Grupos de Investigación a los que pertenece: Grupo de
investigación CRIE (GIUV2013-105) de la Universitat de València y el Grupo de
Investigación en Innovación y Tecnología Educativa de la Universidad de Málaga
(SEJ-533) de la Universidad de Málaga. [Link]
E-mail: [Link]@[Link]

DIRECCIÓN DEL AUTOR

Facultad de Filosofía y Ciencias de la Educación
Avda. Blasco Ibáñez, 30
46010
Valencia (España)

Fecha de recepción del artículo: 15/02/2021

Fecha de aceptación del artículo: 08/03/2021
Fecha de aprobación para maquetación: 29/03/2021

RIED. Revista Iberoamericana de Educación a Distancia (2021), 24(2), pp. 329-349.

DOI: [Link] – ISSN: 1138-2783 – E-ISSN: 1390-3306 349
 CRITERIOS Y NORMAS DE REDACCIÓN Y PRESENTACIÓN DE ARTÍCULOS

La Política Editorial de la

• De la AIESAD. La RIED. Revista Iberoamericana de Educación a Distancia se configura como el instrumento de la

Asociación Iberoamericana de Educación Superior a Distancia (AIESAD) para la difusión de trabajos de carácter científico,
experiencias, convocatorias e información bibliográfica, dentro del ámbito de la enseñanza/aprendizaje abierto y a distancia
en sus diferentes formulaciones y presentaciones.
• Arbitrada. La RIED es una publicación arbitrada que utiliza el sistema de evaluación externa de revisión por pares (doble
ciego). identificándose cada trabajo con un DOI (Digital Object Identifier System).
• Periodicidad y formato. La RIED. Revista Iberoamericana de Educación a Distancia, tiene una periodicidad semestral
(un volumen anual con dos números). Se edita en doble versión: impresa (ISSN: 1138-2783) y electrónica (E-ISSN: 1390-
3306I).
• Idioma de los trabajos. Podrán presentarse trabajos en lengua española, portuguesa e inglesa.
• Requisitos. Toda propuesta de colaboración deberá reunir los siguientes requisitos:
• hacer referencia al campo de especialización propio de la RIED;
• estar científicamente fundada y gozar de unidad interna;
• suponer una ayuda para la profundización en las diversas dimensiones y ámbitos de la educación abierta y a distancia
y de las TIC aplicadas a la educación.
• Se primarán los trabajos sujetos al modelo IMRyD (Introducción, Metodología, Resultados y Discusión) y que puedan
tener incidencia en la educación superior.
• Trabajo original. Los trabajos enviados a la RIED para su publicación deberán constituir una colaboración original no
publicada previamente en soporte alguno, ni encontrarse en proceso de publicación o valoración en cualquiera otra revista
o proyecto editorial.
• Normas de redacción y presentación. Los trabajos deberán atenerse a las normas de redacción y presentación de
carácter formal de la RIED. Las colaboraciones enviadas a la RIED que no se ajusten a ellas serán desestimadas.
• Recepción de originales. La Secretaría de la RIED acusará la recepción del manuscrito enviado por el autor/es. El Consejo
de Redacción revisará el artículo enviado informando al autor/es, en caso necesario, si se adecua al campo temático de
la revista y al cumplimiento de las normas y requisitos formales de redacción y presentación. En el caso de que todos los
aspectos sean favorables, se procederá a la revisión por pares del artículo.
• Revisión externa. Antes de la publicación, los manuscritos enviados serán valorados de forma anónima por dos miembros
del Comité Científico o Evaluadores Externos (revisión por pares), por el sistema de doble ciego que, en su caso, realizarán
sugerencias para la revisión y mejora en vistas a la elaboración de una nueva versión. Para la publicación definitiva se requiere
la valoración positiva de ambos revisores. En caso de controversia evidente por parte de éstos, se requerirá de una tercera
valoración para su aceptación, modificación o rechazo definitivos de la publicación.
• Criterios de Evaluación del Comité Científico y Evaluadores Externos. Los criterios de valoración de cada artículo
que justifican la decisión de aceptación/modificación/rechazo se basan en los siguientes ejes:
• interés del campo de estudio al ámbito de los formatos educativos no presenciales, prioritariamente con posible
incidencia en la educación superior.
• relevancia, originalidad e información valiosa de las aportaciones,
• aplicabilidad de los resultados para la resolución de problemas.
• actualidad y novedad,
• avance del conocimiento científico,
• fiabilidad y validez científica: calidad metodológica contrastada,
• correcta organización, redacción y estilo de la presentación del material.
• Información. La Secretaría de la RIED informará a los autores de la decisión de aceptación, modificación y rechazo de cada
uno de los artículos. La corrección de pruebas de imprenta la hará la RIED cotejando con el original.
• Política de privacidad: Se mantendrá y preservará en todos los casos y circunstancias el anonimato de los autores y el
contenido de los artículos desde la recepción del manuscrito hasta su publicación. La información obtenida en el proceso de
revisión y evaluación tendrá carácter confidencial.
• Fuentes. Los autores citarán debidamente las fuentes de extracción de datos, figuras e información de manera explícita y
tangible tanto en la bibliografía, como en las referencias. Si el incumplimiento se detectase durante el proceso de revisión o
evaluación se desestimará automáticamente la publicación del artículo.
• Responsabilidad. RIED no se hará responsable de las ideas y opiniones expresadas en los trabajos publicados. La
responsabilidad plena será de los autores de los mismos.
• Licencia. Los textos publicados en esta revista están sujetos a una Licencia Creative Commons Atribución 4.0 Internacional".
Puede copiarlos, distribuirlos, comunicarlos públicamente, hacer obras derivadas y usos comerciales siempre que reconozca
los créditos de las obras (autoría, nombre de la revista, institución editora) de la manera especificada por los autores o por
la propia RIED.

OTRAS INFORMACIONES DE INTERÉS

• Procedimiento remisión de artículos: [Link]
• Declaración ética sobre publicación y malas prácticas: [Link]
editorialPolicies#custom-2
• Directrices para autores. Normas para publicar en RIED: [Link]
submissions#authorGuidelines
• Lista de comprobación previa de los envíos: [Link]
 Revista Iberoamericana de
Educación a Distancia

ARTÍCULO EDITORIAL

¿Podemos fiarnos de la evaluación en los sistemas de educación a distancia y digitales?

MONOGRÁFICO:

Evaluación de la educación digital y digitalización de la evaluación

Planning, Communication and Active Methodologies: Online Assessment of the Software Engineering
Subject during the COVID-19 Crisis

Evaluación Remota de Aprendizajes en la Universidad: decisiones docentes para encarar un nuevo

desafío

Validación de una plataforma de evaluación formativa de la competencia digital docente en tiempos

de Covid-19

Procesos de feedback para fomentar la autorregulación con soporte tecnológico en la educación

superior: Revisión sistemática

¿Cómo implicar a los estudiantes para que utilicen el feedback online?

Peer Assessment as a Tool to Enhance Pre-Service Primary Bilingual Teachers’ Training

La evaluación de la educación virtual: las e-actividades

Rendimiento académico y deserción de estudiantes universitarios de un curso en modalidad virtual y

presencial

Una experiencia de diseño de una tarea de evaluación sumativa en formato transmedia para formación
inicial de profesorado

Calidad en e-Learning: Identificación de sus dimensiones, propuesta y validación de un modelo para

su evaluación en Educación Superior

Auditorías virtuales en el Programa de Sellos Internacionales de Calidad (SIC) de ANECA en tiempos

de pandemia

ESTUDIOS E INVESTIGACIONES

Analítica del aprendizaje significativo d-learning aplicado en la enseñanza de la física de la educación

secundaria

El aula invertida como estrategia didáctica para la generación de competencias: una revisión sistemática

MOOC in the West and East: A Comparative Content Analysis of Newspapers

Competencia digital ciudadana: análisis de tendencias en el ámbito educativo

[Link]