Círculo de Lingüística Aplicada a la Comunicación VA R I A

ISSN 1576-4737

La revisión sistemática como metodología

para la investigación en E/LE
José Miguel Blanco Pena
Tamkang University (Taiwan)

https://dx.doi.org/10.5209/clac.88711 Recibido: 12 de mayo del 2023 • Aceptado: 20 de noviembre del 2023

ES
Resumen. El objetivo de este artículo es presentar la metodología denominada ‘revisión sistemática’
(systematic review) como instrumento novedoso y útil para la investigación de naturaleza bibliográfica en
el ámbito del E/LE. Para ello, primero, reseñamos una taxonomía de revisiones de bibliografía basada en
las características generales que las definen. Seguidamente, abordamos una tipología de revisiones y
sus rasgos particulares: por un lado, contrastando la revisión tradicional de antecedentes con la moderna
revisión sistemática; por otro lado, comparando los diferentes tipos apuntados. Asimismo, destacamos las
ventajas y desventajas de las revisiones modernas. Mediante esta aproximación al concepto de revisión
sistemática como objeto de investigación científica con características propias pretendemos, en última
instancia, dar a conocer una metodología que creemos que tiene mucho potencial en el área del E/LE, donde
es prácticamente desconocida, y que puede interesar a quienes decidan acometer trabajos de carácter
bibliográfico.
Palabras clave: investigación bibliográfica; metaanálisis; metodología, revisión sistemática; síntesis

ENG
Systematic review as a methodology for E/LE research
Abstract. The objective of this article is to present the methodology called ‘systematic review’ as a novel
and useful instrument for bibliographic research in the field of E/LE. First, we present a taxonomy of literature
reviews based on the general aspects that define them. Next, we address a typology of reviews and their
characteristics: on the one hand, by contrasting the traditional background review with the modern systematic
review, on the other hand, by comparing the different types targeted. We also highlight the advantages and
disadvantages of this method. Through this approach to the concept of systematic review as an object of
scientific research with its own characteristics, we ultimately aim to publicize a methodology that we believe
has a lot of potential in the area of E/LE, where it is practically unknown, and that may interest those who
decide to undertake bibliographic research.
Keywords: Bibliographic research; Meta-analysis; Methodology; Systematic review; Synthesis

Sumario. 1. Introducción. 2. Características generales de las revisiones bibliográficas. 3. Tipos de revisión

bibliográfica. 3.1. Revisiones bibliográficas tradicionales. 3.2. La revisión sistemática. 3.2.1. Concepto y
características. 3.2.2. Tipos. 3.3. El metaanálisis. 3.4. Comparación de los diferentes tipos. 3.5. Ventajas y
desventajas de las revisiones modernas. 4. Conclusiones. Referencias bibliográficas.

Cómo citar: Blanco Pena, J. M. (2024). La revisión sistemática como metodología para la investigación en E/LE,
Círculo de Lingüística Aplicada a la Comunicación 97 (2024), 157-193. https://dx.doi.org/10.5209/clac.88711

1. Introducción
La revisión bibliográfica (literature review) es una más de la amplia gama de actividades integrativas en las
que participan los científicos cuya herencia intelectual se remonta, al menos, hasta Aristóteles (Cooper et
al., 2019b:6). En todo proceso de investigación científica, la revisión de la bibliografía constituye un paso
metodológico fundamental, de ahí que su importancia sea destacada por todos los manuales sobre
metodología científica (Kothari, 2004; Pruzan, 2016; Hernández-Sampieri y Mendoza, 2018; Surbhi, 2019;
Nagmode, 2019; Mukherjee, 2020).
Esta tarea, que debe acometerse en la etapa inicial de una investigación, consiste, en su forma
tradicional, en examinar toda la bibliografía disponible a fin de familiarizarse con el tema elegido, por un lado,
y localizar la que resulta más relevante para su estudio, por otro. Esto implica explorar tanto la bibliografía
conceptual, relativa a conceptos y teorías, como la empírica, compuesta por aquellos trabajos anteriores
CLAC 97 (2024): 179-193 179
180 Blanco Pena, J. M. CLAC 97 (2024): 179-193

similares al propuesto. Es el conocimiento obtenido tras esta revisión el que, posteriormente, permite al
investigador especificar su propio problema en un contexto relevante y en los términos más específicos
(Kothari, 2004:12). Algunos autores, como Pruzan (2016), prefieren denominar a esta fase ‘marco conceptual’
(conceptual framework), para remarcar que no se trata solo de hacer una simple revisión y resumirla, sino
que, de un lado, hay que demostrar la manera en que el estudio propuesto está relacionado con la teoría
y la investigación existentes, indicando cómo contribuirá a la comunidad científica y al propio desarrollo
intelectual o académico; y de otro lado, deben presentarse las reflexiones del autor sobre el marco teórico
de la investigación, lo cual muchas veces se deja de lado (Pruzan, 2016:192).
En las últimas décadas, el proceso de revisión de cuerpos bibliográficos se ha convertido, en sí mismo, en
un objeto de investigación científica que ha dado lugar a una actividad con características propias: la ‘revisión
sistemática’ (systematic review). De hecho, desde que en los años setenta del pasado siglo comenzaran los
primeros trabajos dedicados a la revisión bibliográfica como empresa científica –desde los campos de la
Psicología y la Educación–, las revisiones sistemáticas se han extendido a través de muchas disciplinas,
especialmente en áreas como Ciencias de la Salud, Política Social y Economía (Cooper et al., 2019b:10), pero
también en el campo de la Lingüística Aplicada (In’nami et. al., 2020; Macaro, 2020).
Como producto escrito, la revisión de un conjunto bibliográfico varía de formato dependiendo de su
propósito. Sin embargo, desde el punto de vista terminológico, los trabajos de investigación académica
que se consideran a sí mismos revisiones bibliográficas utilizan una amplia y confusa gama terminológica
que, en algunos casos, ni siquiera es definida explícitamente por los propios revisores. Así, de acuerdo
con la recopilación efectuada por Jesson et al. (2011:14), entre las diversas etiquetas utilizadas se incluyen
términos como: ‘revisión de síntesis’ (synthesis review), ‘revisión narrativa’ (narrative review), ‘revisión crítica
de la literatura’ (critical literature review), ‘revisión crítica’ (critical review), ‘revisión de la literatura’ (review of
the literature), ‘revisión’ (review), ‘revisión sistemática’ (systematic review), ‘revisión sistemática de evidencia’
(systematic review of evidence), ‘revisión rápida’ (rapid review), ‘revisión integrada’ (integrated review),
‘revisión temática’ (thematic review),’análisis de contenido’ (content analysis) o ‘visión general bibliométrica’
(bibliometric overview), entre otros. Otros autores de referencia, como Cooper et al. (2019b:6), lamentan que
algunos de estos términos, como ‘síntesis de investigación’, ‘revisión de investigación’ o ‘revisión sistemática’,
a menudo se usen indistintamente con significados sutilmente diferentes, sin que todavía se haya llegado a
un consenso sobre cuáles son tales diferencias.
Así las cosas, nos preguntamos cuáles son las características que definen y distinguen la revisión
sistemática moderna de bibliografía frente a la revisión tradicional y que, por tanto, deberían tenerse
en cuenta a la hora de utilizar aquel método en el campo de la Didáctica del E/LE. En este artículo nos
proponemos responder a tal pregunta realizando una aproximación al marco teórico-metodológico asociado
con las revisiones bibliográficas en tanto que objeto de investigación científica con características propias,
intentando aclarar, al mismo tiempo y en la medida de lo posible, el desorden terminológico y conceptual
que hemos mencionado antes. Una confusión que, dicho sea de paso, ya hemos empezado a detectar en
algunos trabajos recientes dentro del área del E/LE, tal como se verá más adelante. Nuestro objetivo, en
suma, es presentar este marco a los formadores e investigadores del área del E/LE, brindándoles, a la vez,
algunas de las fuentes bibliográficas de referencia más relevantes.
En los siguientes apartados abordaremos, en primer lugar, las características generales que definen
las revisiones de conjuntos bibliográficos. En segundo lugar, trataremos los diferentes tipos de revisiones,
organizando nuestra exposición en torno al contraste y la comparación entre la revisión bibliográfica
tradicional (revisión de antecedentes) y la moderna (revisión sistemática); destacaremos, además, las
ventajas y desventajas de esta última. Para llevar a cabo nuestra descripción, nos apoyaremos en varias
obras de referencia sobre este nuevo método de investigación, publicadas desde ámbitos tan diferentes
como las Ciencia Sociales, las Ciencias de la Salud, la Educación o la Lingüística Aplicada, pues, al
contrario de lo que ocurre con la especialidad E/LE, todos ellos disfrutan ya de una larga tradición en
el campo que nos ocupa, y desde todos ellos se ha analizado y divulgado lo que sintetizamos en los
siguientes apartados.

2. Características generales de las revisiones bibliográficas

En su manual sobre revisiones sistemáticas y metaanálisis, referencia indispensable del campo que nos
ocupa, Cooper et. al. (2019b:5) presentan una interesante taxonomía de revisiones bibliográficas elaborada
a partir de seis aspectos generales: (1) ‘foco’, (2) ‘meta’, (3) ‘perspectiva’, (4) ‘cobertura’, (5) ‘organización’ y (6)
‘público’, junto con una serie de categorías subordinadas a ellos. Dado que se trata de una clasificación que
ofrece un alto grado de distinción y que puede aplicarse a las síntesis bibliográficas que se hacen en una
amplia gama de ciencias, incluidas la Lingüística Aplicada y la enseñanza de E/LE, presentamos primero
esta casuística en la Tabla 1 y luego ampliamos la explicación siguiendo a los propios autores (Cooper et. al.,
2019b:5-6).
El primer aspecto de una revisión bibliográfica, el ‘foco’, se refiere al material que constituye el centro
de interés del revisor. Suelen distinguirse cuatro áreas hacia las que puede estar enfocada una revisión, si
bien estas pueden abordar más de una: (1) los resultados de estudios primarios individuales, normalmente
de naturaleza experimental, aunque no necesariamente; (2) los métodos usados para llevar a cabo la
investigación; (3) las teorías utilizadas para explicar fenómenos idénticos o parecidos; (4) las prácticas, los
programas o los tratamientos aplicados en un determinado contexto.
Blanco Pena, J. M. CLAC 97 (2024): 179-193 181

Tabla 1. Taxonomía de revisiones bibliográficas. (Cooper et al., 2019b:5. Traducción propia).

Característica Categorías

Resultados de investigación
Métodos de investigación
Foco
Teorías
Prácticas o aplicaciones

Integración de objetivos:
– Generalización
– Resolución de conflictos
Meta
– Construcción lingüística de puentes
– Crítica
Identificación de cuestiones centrales

Representación neutral
Perspectiva
Adopción de (adhesión a) posición

Cobertura exhaustiva
Exhaustiva con citación selectiva
Cobertura
Representativa
Central o pivotante

Histórica
Organización Conceptual
Metodológica

Académicos especializados
Estudiosos en general
Público
Profesionales o responsables políticos
Público en general

La segunda característica de una revisión bibliográfica es su ‘meta’ u ‘objetivo’, es decir, aquello que desea
lograr el revisor. El objetivo más habitual es integrar bibliografía anterior supuestamente relacionada con un
tema común, lo cual incluye subtareas como: (a) formular afirmaciones generales que caracterizan múltiples
investigaciones, métodos, teorías, o prácticas; (b) resolver conflictos entre resultados de investigación, ideas
o afirmaciones fácticas contradictorios, proponiendo, al mismo tiempo, una nueva concepción que permite
explicar la inconsistencia planteada; (c) cerrar una brecha existente entre conceptos o teorías mediante
la creación de un nuevo marco lingüístico común. Una segunda meta puede ser analizar críticamente la
bibliografía existente. A diferencia de una revisión integradora, la evaluación crítica no pretende sumar
conclusiones ni comparar las obras entre sí, sino confrontar cada una de estas con un determinado criterio
para considerarla más o menos aceptable. El criterio suele implicar cuestiones relacionadas con la calidad
metodológica de los estudios empíricos; el rigor lógico, la integridad o la amplitud de la explicación, en caso
de que haya teorías de por medio; o una comparación con el tratamiento ideal, cuando se trata de prácticas,
políticas o aplicaciones. Un tercer objetivo que a menudo motiva las revisiones es identificar cuestiones
centrales en un campo concreto. Estas cuestiones pueden incluir preguntas que han dado lugar a trabajos
pasados, preguntas que deberían estimular los futuros estudios, o problemas de sondeo metodológico o
en la lógica y conceptualización que han impedido el progreso dentro de un área o tema. En cualquier caso,
Cooper et al. advierten que las revisiones normalmente combinan múltiples objetivos, por ejemplo, es raro
ver una revisión que integre o examine críticamente el trabajo existente sin identificar cuestiones centrales
para futuras investigaciones.
La tercera característica, la ‘perspectiva’, tiene en cuenta si los revisores parten de un punto de vista
inicial que podría influir en la discusión sobre la bibliografía analizada. A los extremos del continuo de
perspectiva Cooper et al. los denominan ‘representación neutral’ y ‘adhesión a una posición’. Mientras que
en el primero los revisores intentan presentar todos los argumentos o pruebas a favor y en contra sobre las
diversas interpretaciones de un problema, en el segundo los revisores tratan de demostrar el valor del punto
de vista particular que defienden, no solo aportando argumentos y pruebas que respalden sus afirmaciones,
sino también desempeñado un papel activo en la forma en que el material es intercalado y presentado. Eso
sí, teniendo en cuenta, como nos recuerdan estos mismos autores, que resulta casi imposible mantener una
neutralidad pura, ya que los revisores pueden acabar tomando una posición basándose en los argumentos
acumulados o seguir abogando por una interpretación particular a pesar de haber presentado pruebas u
opiniones contradictorias de manera reflexiva y justa.
El siguiente aspecto, la ‘cobertura’, se refiere a la medida en que los revisores encuentran e incluyen obras
relevantes en su estudio. Cooper et al. consideran que es posible distinguir, al menos, cuatro tipos de cobertura.
El primero, la ‘cobertura exhaustiva’, implica que los revisores esperan ser completos, haciendo un esfuerzo por
incluir toda la bibliografía y basar sus discusiones y conclusiones en toda esa amplia información. El segundo
tipo, ‘cobertura exhaustiva con citación selectiva’, también basa sus conclusiones en bibliografías completas,
pero solo se describe una selección de obras. Es decir, los investigadores eligen una muestra intencionada (útil)
de obras para citar, pero, al mismo tiempo, afirman que las inferencias realizadas se basan en una bibliografía
más extensa. En tercer lugar, mediante la ‘cobertura representativa’, los revisores presentan solo algunas obras
que son ampliamente descriptivas de muchas otras en un determinado campo. Esto implica la necesidad de
considerar, previamente, los rasgos que hacen que las obras seleccionadas sean paradigmáticas con respecto
182 Blanco Pena, J. M. CLAC 97 (2024): 179-193

a la totalidad. Finalmente, para Cooper et al., optar por una cobertura ‘central’ o ‘pivotante’ implica concentrarse
en obras que resultaban muy originales cuando aparecieron y que influyeron de manera crucial en el desarrollo
de los trabajos posteriores en una determinada área temática.
La quinta característica propuesta por estos autores se refiere a las diversas formas de ‘organización’
de los trabajos de revisión: ‘histórica’, donde los temas se introducen en orden cronológico según fueron
apareciendo en la bibliografía; ‘conceptual’, en que las obras relacionadas con las mismas ideas se muestran
juntas; o bien ‘metodológica’, donde los trabajos que emplean métodos similares aparecen agrupados.
Por último, Cooper et al. consideran también importante la ‘audiencia’ o ‘público’ previsto por los
investigadores. Este puede ser muy variado, desde grupos de investigadores especializados o generales,
pasando por responsables políticos o grupos de profesionales, hasta el público en general. La elección del
público afecta, entre otros aspectos, a la mayor o menor cantidad de jerga técnica utilizada, los detalles
aportados y la atención a las implicaciones del trabajo, según estos autores.
Por nuestra parte, pensamos que esta clasificación podría ampliarse con otras subcategorías, también
comunes a todas las revisiones bibliográficas, vinculadas con la cobertura. Nos referimos, por ejemplo, a
criterios como: (a) ‘fuentes’, donde cabría incluir subcategorías como ‘documentos’ (artículos de revistas o
actas de congresos y seminarios, libros, monografías, tesis doctorales, memorias de máster, otros), ‘bases
de datos’ (nacionales vs. internacionales), ‘ámbito geográfico’ (nacional vs. internacional) e ‘idioma de
publicación’ (español, inglés, otros); (b) ‘periodización’, para distinguir entre revisiones ‘acotadas’ (hasta la
fecha) y ‘no acotadas’; o (c) ‘tipo y método revisión’, bajo la que se incluirían los diferentes tipos de revisión
que se señalan en el siguiente apartado.

3. Tipos de revisión bibliográfica

3.1. Revisiones bibliográficas tradicionales

Dentro de las revisiones bibliográficas tradicionales, Sandelowski y Barroso (2006:19) diferencian entre
‘revisión de antecedentes’ (background review) y ‘visión narrativa de conjunto’ (narrative overview). Según
estos autores, esta última, que puede tener procedimientos de búsqueda, recuperación y análisis más
sistemáticos y exhaustivos que la primera, a menudo tiene un alcance más amplio que la revisión de
antecedentes, pero siempre es menos penetrante que una síntesis de investigación, ya que simplemente
examina los temas y métodos utilizados en un campo de estudio.
Más analítica y comprehensiva nos resulta la clasificación que hacen Jesson et al. (2011:15 y 76), quienes
delimitan cinco tipos o aproximaciones tradicionales diferentes:

1. crítica (critical review),

2. conceptual (conceptual review),
3. estado del arte (state-of-the-art review),
4. de experto (expert review) y
5. de alcance o ámbito (scoping review).

Según estos autores, una revisión tradicional adopta el primer enfoque cuando evalúa teorías o hipótesis
mediante el examen crítico de los métodos y resultados de un conjunto de estudios primarios, haciendo énfasis
en los antecedentes y el material contextual. Un ejemplo representativo sería un trabajo académico cuyo objetivo
fuera establecer la historia hasta el presente sobre un tema o línea investigación dentro del ámbito E/LE.
Segundo, una ‘revisión conceptual’ tiene como objetivo sintetizar áreas de conocimiento teórico que
contribuyan a una mejor comprensión de los problemas. Un ejemplo de este tipo sería una discusión sobre
los conceptos de ‘contextos de aprendizaje’ y ‘cultura de aprendizaje’.
Tercero, una ‘revisión del estado del arte’ (estado de la cuestión) pone a los lectores al día sobre las
investigaciones más recientes sobre un tema. Un ejemplo sería la revisión del estado de la enseñanza de la
gramática a sinohablantes.
Cuarto, una ‘revisión de experto’ es un trabajo llevado a cabo por un experto reconocido. Por ejemplo, una
revisión de los estudios sobre la neurolingüística aplicada a la enseñanza del E/LE realizada por un reputado
neurolingüista especializado en tal área.
Finalmente, una ‘revisión de alcance’ prepara el escenario para una futura agenda de investigación,
para lo cual, primero, documenta lo que es ya conocido, luego realiza un análisis crítico de las lagunas de
conocimiento encontradas para aquilatar las preguntas, conceptos y teorías y, en última instancia, traza el
área temática general y hace recomendaciones para futuras investigaciones. Un ejemplo de esta última
modalidad sería definir la agenda de investigación para el estudio sobre la adquisición del componente
fonético por parte de varios grupos de estudiantes de E/LE.

3.2. La revisión sistemática

3.2.1. Concepto y características

Como hemos señalado en la introducción, una nueva metodología comienza a desarrollarse en los años
80 del siglo pasado como alternativa objetiva y rigurosa a las revisiones tradicionales –también llamadas
Blanco Pena, J. M. CLAC 97 (2024): 179-193 183

narrativas–, consideradas demasiado subjetivas, y ante la creciente cantidad de estudios publicados –sobre
todo empíricos–, que hacía complicado alcanzar conclusiones firmes sobre las evidencias adquiridas en
las investigaciones (Petticrew y Roberts, 2006:7-9; Borenstein et al., 2009:xxiii; Sánchez Meca, 2010:53-54;
Sánchez-Meca y Botella, 2010:9; Zawacki-Richter et al., 2020:vi). Desde entonces, junto a la forma clásica
de llevar a cabo una revisión bibliográfica (traditional literature review), existe también otra forma denominada
‘revisión sistemática’ (systematic review) o ‘síntesis de investigación’ (research synthesis).
Entre las muchas definiciones de revisión sistemática existentes, la que ofrecen Petticrew y Roberts
(2006:2) nos parece especialmente clara y completa:
Systematic literature reviews are a method of making sense of large bodies of information, and a
means of contributing to the answers to questions about what works and what does not – and many
other types of question too. They are a method of mapping out areas of uncertainty, and identifying
where little or no relevant research has been done, but where new studies are needed. Systematic
reviews also flag up areas where spurious certainty abounds. These are areas where we think we know
more than we do, but where in reality there is little convincing evidence to support our beliefs.
De manera similar, desde el terreno de la Psicología en español, pero con idea de acercar el concepto a
los profesionales de cualquier disciplina empírica, Sánchez-Meca (2010:54) define la revisión sistemática en
los siguientes términos:
Una revisión sistemática es un tipo de investigación científica mediante la cual se revisa la literatura
científica sobre un tópico partiendo de una pregunta formulada de forma clara y objetiva, utilizando
métodos sistemáticos y explícitos para localizar, seleccionar y valorar críticamente las investigaciones
relevantes a dicha pregunta y aplicando protocolos sistemáticos para la recogida de datos e
información de dichas investigaciones, con el objetivo de alcanzar conclusiones validas y objetivas
sobre qué es lo que dicen las evidencias sobre dicho tópico.
Para Cooper et al. (2019b:7), dos de los rasgos más distintivos de una síntesis de investigación vienen
determinados por su ‘foco’ y ‘meta’, según su propia taxonomía:
A research synthesis can be defined as the conjunction of a particular set of literature review
characteristics. Most distinctive about research syntheses are their primary focus and goal: research
syntheses attempt to integrate empirical research for the purpose of creating generalizations.
Implicit in this definition is the notion that seeking generalizations also involves seeking the limits of
generalizations. Also, research syntheses almost always pay attention to relevant theories, critically
analyze the research they cover, try to resolve conflicts in the literature, and attempt to identify central
issues for future research.
No obstante, para estos autores, lo que en mayor medida define una síntesis de investigación es, en
realidad, su ‘perspectiva’ de ‘representación neutral’, pues su razón de ser es evitar que los revisores se
vean afectados por la multitud de sesgos y puntos de vistas subjetivos que entran en juego durante el
proceso de revisión; por ejemplo, a la hora de buscar y seleccionar la bibliografía, extraer información y
manejar las variables metodológicas, integrar estadísticamente los hallazgos, o presentar el informe final.
De hecho, la base filosófica que hay detrás de este método enfatiza los mismos valores de rigor, objetividad,
sistematicidad, transparencia, fiabilidad y replicabilidad que se les pide a los propios estudios revisados
(Cooper et al., 2019b:11; Sánchez-Meca y Botella, 2010:9).
Por su parte, Higgins et al. (2020:xviii), en su manual sobre revisiones sistemáticas, señalan cinco
características clave de esta nueva metodología:

1. a clearly stated set of objectives with pre-defined eligibility criteria for studies;
2. an explicit, reproducible methodology;
3. a systematic search that attempts to identify all studies that meet the eligibility criteria;
4. an assessment of the validity of the findings of the included studies, for example through the assessment
of risk of bias; and
5. a systematic presentation, and synthesis, of the characteristics and findings of the included studies.

En definitiva, estamos ante un método estructurado, transparente y reproducible cuyo fin es evitar o
minimizar los sesgos de las revisiones tradicionales para, de esta manera, ofrecer resultados y conclusiones
más fiables y útiles (Petticrew y Roberts, 2006:3, 9-10; Littell et al., 2008:1). Lo distintivo de una revisión
sistemática es su objetividad e imparcialidad, lo cual implica proceder de manera cautelosa y rigurosa en
varios momentos de su desarrollo (Lasserson et al., 2020:4).
Por otro lado, dado que afrontar una revisión sistemática implica revisar un conjunto amplio de estudios
siguiendo un protocolo de trabajo ordenado y metódico, para que pueda llamarse como tal, toda síntesis de
investigación debe cumplir una serie de fases metodológicas esenciales. Cooper et al. (2019b:9) proponen
un modelo de siete etapas:

1.ª Etapa: Formulación del problema

2.ª Etapa: Búsqueda de la bibliografía
3.ª Etapa: Recogida de información de los estudios
4.ª Etapa: Evaluación de la calidad de los estudios
184 Blanco Pena, J. M. CLAC 97 (2024): 179-193

5.ª Etapa: Análisis e integración de los resultados de los estudios

6.ª Etapa: Interpretación de las pruebas
7.ª Etapa: Presentación de los resultados

Estos autores describen cada uno de estos pasos de acuerdo con (a) una pregunta de investigación, (b)
una función primaria y (c) una variación procedimental que podría producir diferencias en las conclusiones de
la síntesis, y ofrecen una tabla explicativa de estos aspectos que, por su interés, recogemos aquí traducida
al español:

Tabla 2. La revisión sistemática como proceso de investigación. (Cooper et al., 2019b:9. Traducción propia).

Variación procedimental que podría

Etapa Pregunta de investigación Función primaria atendida
producir diferencias en las conclusiones

Definir las variables y La variación de la amplitud conceptual y las

¿Qué evidencia de
relaciones de interés para distinciones dentro de las definiciones podrían
Formulación investigación será relevante
que puedan distinguirse los conducir a diferencias en las operaciones de
del problema para el problema o hipótesis
estudios relevantes de los investigación consideradas relevantes o como
planteados?
irrelevantes. influencias moderadoras probadas.

¿Qué procedimientos deben Identificar fuentes y términos La variación en las fuentes buscadas podría
Búsqueda de
utilizarse para encontrar utilizados para buscar conducir a diferencias sistemáticas en la
la bibliografía
investigaciones relevantes? investigaciones relevantes. investigación recuperada.

– La variación en la información recopilada

podría dar lugar a diferencias en lo que
se pretende probar, con influencia en los
resultados acumulados.
– La variación en la capacitación de los
¿Qué información sobre codificadores de datos podría dar lugar a
Recopilar información
Recogida de cada estudio es relevante diferencias en las entradas en las hojas de
relevante sobre los estudios
información para el problema o hipótesis codificación.
de una manera fiable.
planteados? – La variación en las reglas para decidir
qué resultados del estudio son pruebas
independientes de las hipótesis puede
dar lugar a diferencias en la cantidad y
especificidad de los datos utilizados para
sacar conclusiones acumuladas.

¿Qué investigación debe

incluirse en la síntesis en Identificar y aplicar
función de la idoneidad criterios que separen los La variación en los criterios para las decisiones
Evaluación de
de los métodos para estudios realizados que sobre los métodos de estudio a incluir podría
la calidad de
estudiar la pregunta de se correspondan con la dar lugar a diferencias sistemáticas en cuanto
los estudios
síntesis o los problemas pregunta de investigación de a qué estudios permanecen en la síntesis.
en la implementación de la los que no.
investigación?

Identificar y aplicar La variación en los procedimientos utilizados

Análisis e ¿Qué procedimientos deben procedimientos para para resumir y comparar los resultados de
integración de utilizarse para condensar y combinar los resultados entre los estudios incluidos (como la descripción,
los resultados combinar los resultados de los estudios y evaluar las el recuento de votos, el tamaño del efecto
de los estudios la investigación? diferencias en los resultados promedio) puede dar lugar a diferencias en los
entre ellos. resultados acumulados.

La variación en los criterios para etiquetar los

¿Qué conclusiones pueden Resumir la evidencia
resultados como importantes y la atención
Interpretación extraerse sobre el estado acumulada de la investigación
a los detalles de los estudios podría generar
de las pruebas acumulado de las evidencias con respecto a su fortaleza,
diferencias en la interpretación de los
de investigación? generalidad y limitaciones.
hallazgos.

Identificar y aplicar las pautas

La variación en los informes puede llevar
editoriales y el criterio para
Presentación ¿Qué información debe a los lectores a confiar más o menos en
determinar los aspectos de
de los incluirse en el informe de la los resultados de la síntesis e influir en
los métodos y resultados
resultados síntesis? la capacidad de otros para replicar los
que los lectores del informe
resultados.
deberán conocer.

Recuérdese, de todas formas, que estas fases no se llevan a efecto de modo secuencial o lineal sino
cíclico o recursivo, tal como corresponde a la ejecución de etapas en cualquier proceso de investigación
(Botella y Zamora, 2017:24). Como ejemplo del tipo de aspectos que deberían ser tenidos en cuenta en
la fase de recogida de información dentro del ámbito de la adquisición de segundas lenguas, nos parece
interesante mostrar uno aportado por Macaro (2020:236) en relación con las estrategias de muestreo, pues
resulta especialmente relevante a la hora de valorar revisiones de estudios experimentales también en el
área de la Didáctica del E/LE:
Another aspect of methodology that a review needs to extract is the sampling strategy of a particular
study. This is of special importance in reviews of SLA, which often try to arrive at an international picture of a
Blanco Pena, J. M. CLAC 97 (2024): 179-193 185

particular L2 teaching and/or learning phenomenon. The reader of the review will want to know something
about the population being studied in a particular study. Who are these people? What is the context in
which they are teaching or learning? How is that context different from other populations in other studies
in the review? Moreover, the quality of a particular study can in part be judged by the relationship between
the population and the sample, through the sampling frame adopted. This will allow both the authors of
the study and the review team to make a judgement about how generalizable the findings of the individual
study are and whether they are generalizable (through the systematic review) across different L2 contexts.
Como puede suponerse, la cantidad de cuestiones implicadas en cada una de estas etapas es muy
grande, por lo que adentrarse en ellas requeriría de mucho más espacio del que disponemos aquí, tarea que,
por lo demás, va más allá del objetivo y alcance del presente trabajo. Para ahondar en ellas, recomendamos
acudir al manual de referencia por excelencia de este campo, mencionado varias veces al o largo del
presente artículo (Cooper et al., 2019), así como al monográfico de Zawacki-Richter et al. (2020:91-161), en el
que se incluyen cuatro interesantes ejemplos de aplicación práctica de la revisión sistemática en el campo
de la investigación educativa. No obstante, para hacerse con una idea general de estas cuestiones, en la
Tabla 3 mostramos la lista de comprobación que se ofrece en el primero de los manuales mencionados, a
modo de preguntas o criterios de calidad, para evaluar las revisiones sistemáticas:

Tabla 3. Lista de comprobación de la calidad de las revisiones sistemáticas. (Cooper et al., 2019c:524. Traducción propia)

Etapa de investigación Preguntas/criterios de evaluación

1. ¿Se dan definiciones conceptuales claras de las variables que son de interés?
2. ¿Las operaciones que definen empíricamente las variables de interés corresponden a las
variables conceptuales de las variables?
Definición del problema
3. ¿Se plantea el problema de tal forma que el diseño de la investigación y las evidencias
necesarias para abordarla puedan especificarse claramente?
4. ¿Se coloca el problema en un contexto teórico, histórico o práctico significativo?

5. ¿Se utilizaron estrategias de búsqueda complementarias para encontrar estudios relevantes?

6. ¿Se utilizaron términos adecuados y exhaustivos en las búsquedas y consultas de bases de
Recopilación de datos de referencia y registros de investigación?
evidencias 7. ¿Se emplearon procedimientos para asegurar la aplicación imparcial y fiable de (a) criterios para
determinar la relevancia sustantiva de los estudios, y (b) recuperación de la información de los de
los estudios primarios?

8. ¿Se categorizaron los estudios de manera que pudieran hacerse distinciones importantes entre
Correspondencia entre
ellos con respecto a su diseño e implementación?
los métodos empleados
9. Si los estudios se excluyeron de la síntesis debido a consideraciones de diseño e
y la implementación de
implementación, ¿dónde estas consideraciones (a) son definidas explícita y operacionalmente, y
estudios individuales
(b) son aplicadas consistentemente a todos los estudios?

10. ¿Se utilizó un método apropiado para combinar y comparar los resultados entre los estudios?
11. Si se calcularon los tamaños del efecto, ¿se utilizó una métrica de tamaño del efecto apropiada?
12. Si se realizó un metaanálisis: (a) ¿se informaron los tamaños promedio del efecto y los intervalos
de fiabilidad, y (b) se utilizó un modelo apropiado para calcular los efectos independientes y el
Resumen e integración
error en los tamaños del efecto?
de las evidencias de los
13. Si se realizó un metaanálisis, ¿se probó la homogeneidad de los tamaños del efecto?
estudios individuales
14. ¿Se probaron (a) las características de diseño e implementación del estudio (como se sugiere en
la pregunta 8) junto con (b) otras características críticas de los estudios, incluidas las variables
históricas, teóricas y prácticas (como se sugiere en la pregunta 4) como posibles moderadores
de los resultados del estudio?

15. ¿Se realizaron análisis que probaron si los resultados eran sensibles a las hipótesis estadísticas?,
y, en caso afirmativo, ¿dónde fueron utilizados estos análisis para ayudar a interpretar la
evidencia?
16. ¿Examinaron los sintetizadores de la investigación (a) el alcance de los datos faltantes en la base
de evidencia y (b) su impacto potencial en los hallazgos de la síntesis?
Interpretación de las 17. ¿Los sintetizadores de la investigación discutieron la generalidad y las limitaciones de los
evidencias acumuladas hallazgos de la síntesis?
18. ¿Los sintetizadores hicieron la distinción apropiada entre la evidencia generada por el estudio y
la generada por la revisión al interpretar los resultados de la síntesis?
19. Si se realizó un metaanálisis, ¿los sintetizadores (a) contrastaron la magnitud de los efectos
con otros tamaños de efecto relacionados o (b) presentaron una interpretación práctica de la
importancia de los efectos?

Presentación de los 20. ¿Estaban los procedimientos y resultados de la síntesis de la investigación clara y
métodos y resultados completamente documentados?

3.2.2. Tipos
Dentro de las aproximaciones modernas a la revisión bibliográfica, suelen diferenciarse dos subtipos
principales de síntesis de investigación, si bien pueden emplearse ambos tipos de acercamiento en un
mismo estudio (In’nami et. al., 2020:241):

1. revisión sistemática cualitativa (systematic qualitative review)

2. revisión sistemática cuantitativa (systematic quantitative review)
186 Blanco Pena, J. M. CLAC 97 (2024): 179-193

Con respecto al primer subtipo, Sandelowski y Barroso (2006:22), para el que prefieren usar el término
‘síntesis de investigación cualitativa’ (qualitative research synthesis), lo definen en los siguientes términos:
Qualitative research synthesis refers to a process and product of scientific inquiry aimed at systematically
reviewing and formally integrating the findings in reports of completed qualitative studies. Qualitative
research synthesis projects encompass a family of methodological approaches. Methods are
accommodated to the reports that comprise the body of empirical literature in a field of study and
to the research purpose for the synthesis project. Accordingly, method enters qualitative research
synthesis studies by way of reviewers’ purposes and their appraisal of the findings themselves, not by
way of the method claims in individual reports, or reviewers’ allegiance to any one method or to any one
approach toward executing that method.
Además, estos autores distinguen dos grandes tipos de síntesis de investigación cualitativa:

1.1. Meta-resumen cualitativo (qualitative metasummary)

1.2. Metasíntesis cualitativa (qualitative metasynthesis)

De acuerdo con Sandelowski y Barroso (2006:17), los primeros reúnen las siguientes seis características:

1. constituyen una agregación cuantitativamente orientada de los resultados de la investigación cualitativa

que son en sí mismos temáticos, resúmenes temáticos o encuestas de datos;
2. son integraciones que se aproximan a la suma de los hallazgos a través de informes en un campo objetivo
de investigación;
3. abordan el contenido manifiesto en los hallazgos;
4. reflejan una visión del lenguaje como vehículo neutral de comunicación;
5. muestran una lógica cuantitativa consistente en, por un lado, discernir la frecuencia de cada hallazgo y,
por otro lado, encontrar en hallazgos de mayor frecuencia la evidencia de replicación fundamental para la
validez en la investigación cuantitativa;
6. pueden ser un fin en sí mismos, o pueden servir como base empírica o puente hacia la metasíntesis
cualitativa, preparando resultados de encuestas para la metasíntesis cualitativa y optimizando la validez
de las síntesis producidas, así como para la afirmación de haber descubierto un patrón o tema en la
investigación cualitativa.

En cambio, los rasgos que singularizan al segundo tipo, las metasíntesis cualitativas, son estos otros
(2006:17-18):

1. constituyen una integración interpretativa de hallazgos cualitativos que son en sí mismos síntesis
interpretativas de datos;
2. son integraciones que van más allá de la suma de partes, en el sentido de que ofrecen interpretaciones
novedosas de resultados que son el resultado de transformaciones interpretativas muy alejadas de estos
hallazgos tal como se dan en los informes de investigación;
3. ofrecen una descripción o explicación totalmente integrada de un evento o experiencia objetivo, en lugar
de una vista resumida de las características no vinculadas de ese evento o experiencia;
4. implican interpretaciones más profundas de lo que se lee, en contraste con el meta-resumen cualitativo,
que valora solo el informe final y una indagación más superficial de los hallazgos de la investigación;
5. contienen un lenguaje en forma de estructura o artefacto cultural que debe ser interpretado. Su validez
no reside en una lógica de replicación, sino más bien en una lógica interpretativa, mediante la cual se
reformulan los resultados, así como en la habilidad exhibida en el producto final.

No obstante, estos mismos autores (2006:22) señalan también cinco características comunes que,
aunque se superponen con otras formas de investigación definen, en su opinión, toda síntesis de investigación
cualitativa:

1. la recuperación sistemática y completa de todos los informes relevantes de estudios cualitativos

completados en un dominio objetivo de la investigación empírica;
2. la utilización sistemática de métodos cualitativos y cuantitativos para analizar esos informes;
3. el énfasis analítico e interpretativo en las conclusiones de esos informes;
4. el uso sistemático y adecuadamente ecléctico de métodos cualitativos para integrar las conclusiones de
esos informes; y
5. el uso de prácticas contables reflexivas para optimizar la validez de los procedimientos y los resultados
de los estudios.

En esta misma línea, pero procediendo de forma bastante más analítica, Finfgeld-Connett (2018:3-5),
en su guía sobre la metasíntesis cualitativa, señala nueve métodos diferentes para sintetizar los resultados
cualitativos aislados:

1. Metaetnografía
2. Metaestudio
Blanco Pena, J. M. CLAC 97 (2024): 179-193 187

3. Síntesis de investigación cualitativa

4. Meta-resumen
5. Metaagregación
6. Revisión realista
7. Síntesis interpretativa crítica
8. Cochrane
9. Metasíntesis generadora de teoría

Los cuales distingue y describe a partir de cuatro criterios: (a) ‘propósito’, (b) ‘muestra’, (c) ‘evaluación de
la calidad’ y (d) ‘análisis de datos’. Las características de cada uno de estos nueve métodos las presenta
esquemáticamente la propia autora mediante una tabla (Tabla 4) que permite hacerse rápidamente con una
idea general de las diferencias entre ellos, razón por la cual también la presentamos a continuación:

Tabla 4. Métodos para sintetizar resultados cualitativos aislados. (Finfgeld-Connett, 2018:3-5. Traducción propia).

Evaluación de la
Método Propósito Muestra Análisis de datos
calidad

Metaetnografía Sintetizar hallazgos Informes de Evaluación de datos No especificado,

cualitativos a través de investigación brutos durante el análisis generalmente alguna
investigaciones para crear etnográfica relacionados forma de análisis
nuevas interpretaciones temáticamente temático
holísticas

Metaestudio Analizar teorías, métodos y Muestra representativa Evaluación de Codificación,

hallazgos en investigaciones de informes de informes basada en el categorización
cualitativas primarias investigación cualitativa consenso del equipo de
primaria investigación

Síntesis de Desarrollar una traducción Muestreo intencional Evaluación de los Análisis temático
investigación conceptual, una de informes de informes sobre la
cualitativa reinterpretación o una nueva investigación cualitativa base de los criterios
teoría primaria para alcanzar la enumerados
saturación

Meta-resumen Resumir (es decir, agregar) Búsqueda exhaustiva Evaluación de los Agregación y
y sintetizar el conocimiento de informes de informes sobre la destilación de los
para sacar conclusiones investigación cualitativa base de los criterios resultados de los
enumerados estudios primarios

Metaagregación Crear generalizaciones de Búsqueda exhaustiva Evaluación de informes Agregación y

casos cruzados de informes de basados en el destilación de
investigación cualitativa instrumento JBI* hallazgos utilizando
software informático
JBI

Revisión realista Probar y refinar la teoría del Informes de Evaluación de datos Emergente, depende
programa investigación cualitativos brutos durante el análisis de los datos
y cuantitativos más
literatura conceptual y
crítica

Síntesis Criticar, generar temas Informes de Evaluación emergente Emergente, depende

interpretativa y producir una nueva investigación cualitativos que varía según el tipo de los datos
crítica conceptualización teórica y cuantitativos más de informe/hallazgos
revisiones

Cochrane** Mejorar, ampliar o Informes de Evaluación de informes Emergente, depende

complementar los investigación basada en el instrumento de la naturaleza de la
resultados de los cualitativa que mejoran establecido investigación
metaanálisis los hallazgos del
metaanálisis Cochrane

Metasíntesis Generar teoría a través de Muestreo teórico Evaluación de datos Codificación,

generadora de investigaciones cualitativas de informes de brutos durante el análisis categorización,
teoría primarias investigación cualitativa memoria,
primaria para alcanzar la diagramación
saturación
* JBI es un programa informático diseñado para facilitar todo el proceso de revisión sistemática. Puede encontrarse más información
sobre esta herramienta en https://jbi.global/
** Cochrane es una prestigiosa organización británica dedicada a producir síntesis de investigación en el ámbito de la Salud. Estas
se realizan bajo una metodología particular, a la que suele denominarse con el nombre de la propia organización.

De otro lado, en cuanto al segundo gran subtipo de síntesis de investigación, las revisiones cuantitativas,
In’nami et. al. (2020:241) distinguen también dos grandes modalidades:

a) revisión cuantitativa metaanalítica o metaanálisis (meta-analysis)

b) revisión sintética cuantitativa (quantitative synthetic approach)
188 Blanco Pena, J. M. CLAC 97 (2024): 179-193

La diferencia entre ambos enfoques estriba en que, en los primeros, los estudios se combinan
independientemente de la significación estadística, ya que se pone más énfasis en el tamaño del efecto
agregado y el intervalo de confianza o precisión de la medición entre estudios. En cambio, en los segundos,
los autores combinan estudios recopilados por temas y, por lo general, interpretan la tendencia general
y otras características utilizando estadísticas descriptivas como proporciones y frecuencia (In’nami et. al.,
2020:241). El subtipo más extendido, también en el ámbito de la Lingüística Aplicada, es el metaanálisis, al
que hemos decido dedicar un apartado especial debido a que suele prestarse a confusión.
En definitiva, a modo de resumen y siguiendo una vez más a In’nami et. al. (2020:241), insistimos en que
tanto las revisiones cualitativas como las cualitativas comparten unas características que son comunes a
todas las síntesis de investigación modernas, a saber:

1. suponen procesos sistemáticos de búsqueda bibliográfica e informan explícitamente de los criterios de

selección;
2. los estudios se recopilan utilizando no solo la experiencia de los autores, sino también bases de datos,
búsquedas manuales de bibliografía, referencias de los artículos y la experiencia de otros investigadores
en el campo;
3. este proceso de búsqueda exhaustivo es, a la vez, riguroso, porque incluye criterios explícitos para
la inclusión/exclusión de estudios, a menudo aplicados por múltiples codificadores para mantener la
coherencia, de tal suerte que los trabajos seleccionados se resumen o bien según la experiencia del
autor en la revisión cualitativa, o bien numéricamente en la revisión cuantitativa.

3.3. El metaanálisis
En lo que respecta al término ‘metaanálisis’ (meta-analysis), aunque se utiliza a menudo como sinónimo
de ‘síntesis de investigación’, en su significado más preciso y original denota solo los procedimientos
cuantitativos que un sintetizador puede utilizar para combinar estadísticamente los estudios revisados,
también cuantitativos, e integrar sus hallazgos. Dicho de otro modo, el metaanálisis se emplea en muchos
campos de investigación (Borenstein et al., 2009:xxiii-xxv) para responder a las mismas preguntas sobre
la relación entre variables planteadas en las investigaciones cuantitativas, pero a partir de los datos o
evidencias proporcionados no por un solo trabajo sino por un conjunto de estudios primarios, es decir,
basándose en todas las evidencias disponibles. Para ello, traduce los resultados de todos los estudios a
una métrica o índice cuantitativo común, ofreciendo una estimación combinada de la magnitud del efecto
de cada estudio (Sánchez Meca, 2010:54; Botella y Zamora, 2017:19-20). Por lo tanto, el elemento clave que
proporciona un marco transparente, objetivo y replicable al metaanálisis es la síntesis estadística de datos:
“Unlike the narrative review, where reviewers implicitly assign some level of importance to each study, in
meta-analysis the weights assigned to each study are based on mathematical criteria that are specified in
advance.” (Borenstein et al., 2009:xxiii)
Al comienzo de su capítulo sobre la síntesis de investigación en el ámbito de la Lingüística, Ortega
(2018:175) nos da la clave para distinguir –y no confundir– la revisión sistemática del metaanálisis:
Meta-analysis is probably the best-known technique for systematically synthesizing quantitative
research. However, meta-analyses are a restricted form of synthesis that cannot always be conducted.
For one, synthesists can engage in meta-analysis only when the body of research to be synthesized
is clearly quantitative, that is, experimental, quasi-experimental or correlational. In addition, the
methodology of meta-analysis is driven by questions about the magnitude of an effect or causal
relationship and involves mathematical ways of summarizing past findings that demand the availability
of a large number of studies.
Es decir, mientras que una revisión sistemática es la aplicación de estrategias que limitan la comisión
de sesgos al integrar, analizar críticamente y sintetizar todos los estudios relevantes sobre un tópico, el
metaanálisis puede, aunque no necesariamente, formar parte de este proceso. Esto significa que no todo
conjunto bibliográfico, por ejemplo, de E/LE, es apto para ser estudiado metaanalíticamente, sino tan
solo aquel que puede ser evaluado exclusivamente bajo los conceptos de efecto y causalidad y que es lo
suficientemente extenso. Por lo tanto, quedan excluidos de la investigación metaanalítica los conjuntos de
obras que ofrecen datos descriptivos, cualitativos, o están basados en métodos mixtos, así como los que
no constituyen un grupo lo suficientemente amplio. En estos casos, se pueden utilizar métodos empíricos
de revisión, pero sin aplicar los procedimientos cuantitativos formales del metaanálisis. Por esta razón, se
suele afirmar que todos los metaanálisis son síntesis, pero no todas las síntesis (o revisiones sistemáticas)
son apropiadas para el metaanálisis (Ortega, 2018:178), de hecho, “existen RSs [revisiones sistemáticas]
cualitativas en las que no se aplican métodos estadísticos para integrar los resultados de los estudios, sino
valoraciones cualitativas de dichos resultados.” (Sánchez-Meca y Botella, 2010:9)
En cualquier caso, en lingüística aplicada, la mayoría de estos trabajos son o incluyen metaanálisis.
Al igual que Cooper et al. en su manual (2019b:7), nosotros aquí reservamos este término para referirnos
específicamente al análisis estadístico en la síntesis de investigación y no a toda la empresa de síntesis de
investigación, pues son dos términos que no deben confundirse.
En cuanto a las fases del metaanálisis, vienen a coincidir con las que suele describirse para la síntesis
de investigación en aquellos autores que no lo distinguen de la revisión sistemática (como Borenstein et al.,
Blanco Pena, J. M. CLAC 97 (2024): 179-193 189

2009:xxiii), es decir, el proceso global de revisión (síntesis de investigación o revisión sistemática) de los
procedimientos estadísticos de análisis (metaanálisis). Es el caso, por ejemplo, de In’nami et. al. (2020:243),
quienes expresamente siguen el modelo de Cooper et al., al igual que Sánchez-Meca (2010), Sánchez-Meca y
Botella (2010) o Botella y Zamora (2017:24-26). Para conocer más a fondo sobre este método recomendamos
vivamente la consulta del manual de Cooper et al.

3.4. Comparación de los diferentes tipos

Llegados a este punto, recapitularemos el contenido de los epígrafes precedentes comparando y reajustando
los diferentes tipos de revisiones bibliográficas descritos en ellos. Así, para empezar, siguiendo a Jesson et
al. (2011:11), podemos señalar que las diferentes formas de revisión bibliográfica que se vienen practicando
en las últimas décadas en la investigación científica presentan un continuum de características, modernas o
tradicionales, con dos extremos: revisión narrativa ↔ revisión sistemática, variedad de estilos ↔ aproximación
estructurada, sin método definido ↔ método riguroso, sin análisis específico ↔ síntesis, metaanálisis.
Queda claro, en cualquier caso, que mientras la revisión tradicional viene a ser una valoración escrita de lo
que ya se sabe –el conocimiento sobre un tema– realizada sin una metodología prescrita, la revisión sistemática
implica trabajar de una manera ordenada o metódica, en lugar de hacerlo al azar o de una manera aleatoria. En
cambio, en las revisiones tradicionales no es necesario realizar una búsqueda sistemática exhaustiva, basta con
describir someramente el método y la justificación de la selección para que el lector pueda juzgar la integridad
de la argumentación (Sandelowski y Barroso, 2006:19). Por lo demás, al igual que una revisión tradicional, una
revisión sistemática debería realizarse antes de embarcarse en una nueva investigación primaria con el fin de
identificar estudios en curso, lagunas de conocimiento, falta de evidencias, limitaciones de los trabajos previos,
y demás. No obstante, genera nuevos conocimientos, en tanto que resume cuerpos de investigación más
extensos que los de una revisión tradicional (Littell et al., 2008:1).
Otra diferencia es que la revisión tradicional puede llevarla a cabo un único investigador, en cambio, para la
realización de revisiones sistemáticas lo habitual es formar un equipo de trabajo –la reconocida organización
británica Cochrane, por ejemplo, no publica revisiones realizadas por una única persona (Lasserson et al.,
2020:5)–, siendo recomendable que se integren en él expertos tanto en esta metodología como en el tema
en cuestión (Botella y Zamora, 2017:23), sin que haya un conflicto de interés entre ellos (Lasserson et al.,
2020:3).
Con respecto a la delimitación entre los diversos tipos de revisión bibliográfica examinados, tradicionales
y modernos, nos parece de nuevo oportuno traer aquí un esquema (Tabla 5), para nosotros bastante
clarificador, elaborado en esta ocasión por Sandelowski y Barroso, en la que los comparan a partir de cinco
criterios, (a) ‘propósito’, (b) ‘datos primarios’, (c) ‘lectura’, (d) ‘lógica’, (e) ‘métodos’:

Tabla 5. Comparación de revisiones bibliográficas. (Sandelowski y Barroso, 2006:27-28. Traducción propia).

Tipo de Análisis secundario Estudios de estudios

Revisión de Resumen
revisión cualitativo/comparación Síntesis de
antecedentes narrativo Metaestudios
o estudio de casos agrupados investigación

Propósito – Poner en contexto Registrar o Volver a analizar los datos – Producir una Interpretar uno o
un estudio examinar temas recopilados en uno o más síntesis cualitativa más elementos
propuesto o ya abordados estudios primarios de los resultados de un conjunto
completado y métodos de un cuerpo de de estudios que
– Vincular el estudio utilizados en investigación. comprenden
propuesto o el campo de – Producir un campo de
ya completado investigación una síntesis investigación
con otras seleccionado cuantitativa de seleccionado
investigaciones los resultados
dentro o fuera del de un cuerpo de
campo investigación
– Defender un
estudio propuesto
o completado

Datos Alcance de bibliografía Trabajos de Datos cualitativos – Resultados de Tradiciones de

primarios en uno o más campos investigación originales investigación investigación:
de investigación, empírica cualitativa y/o teorías, métodos,
incluidos informes cualitativa y/o cuantitativa. muestras,
de investigación cuantitativa – Resultados de hallazgos
cualitativos y investigación
cuantitativos, cualitativa y/o
artículos teóricos y cuantitativa
clínicos, memorias,
autobiografías y
otras revisiones
bibliográficas

Estilo de Empírico/analítico Empírico / – Empírico/analítico. – Empírico/ Crítico/discursivo

escritura analítico – Crítico/discursivo analítico.
– Crítico/discursivo
190 Blanco Pena, J. M. CLAC 97 (2024): 179-193

Tipo de Análisis secundario Estudios de estudios

Revisión de Resumen
revisión cualitativo/comparación Síntesis de
antecedentes narrativo Metaestudios
o estudio de casos agrupados investigación

Lógica Cadena de Catálogo Reformulación – Integración – Crítica.

razonamiento – Agregación – Comparación
interpretativa

Métodos Revisión de Revisión Cualquier método – Metasíntesis – Metateoría.

la bibliografía sistemática cualitativo o cuantitativo cualitativa (o, – Metamétodo.
seleccionada análisis de – Metaetnografía.
metadatos). – Metanarrativa
– Meta-etnografía
modificada.
– Revisión narrativa
sistemática.
– Meta-resumen
cualitativo.
– Metaanálisis
cuantitativo

Para concluir este apartado, en la Tabla 6 presentamos una clasificación propia que creemos que recoge
de manera más estructurada los diferentes tipos y métodos de revisión bibliográfica señalados a lo largo de
este apartado:

Tabla 6. Tipos y métodos de revisión bibliográfica. (Elaboración propia).

Tipo de revisión Método

Revisión de antecedentes Revisión de la bibliografía seleccionada

Resumen narrativo Revisión sistemática (evaluativa-cuantitativa/cualitativa)

Análisis secundario cualitativo Cualquier método cualitativo o cuantitativo

Síntesis de investigación cualitativa Metasíntesis cualitativa

Metaetnografía modificada

Meta-resumen

Revisión narrativa sistemática

Síntesis de investigación cuantitativa Revisión metaanalítica (Metaanálisis)

Revisión sintética

Metaestudio Metateoría

Metamétodo

Metaetnografía

Metanarrativa

3.5. Ventajas y desventajas de las revisiones modernas

Llegados a este punto cabría preguntarse: ¿Es la moderna síntesis de investigación un método perfecto
de llevar a cabo una revisión bibliográfica, por ejemplo, dentro del ámbito E/LE? La respuesta que dan
los expertos es que no, pues, “the perfect research synthesis does not and never will exist.” (Cooper et
al., 2019c:518) Para empezar, poque a una síntesis de investigación no se le puede pedir que proporcione
respuestas inequívocas y sin fallos a determinadas preguntas, cuando ni siquiera se pide esto mismo los
estudios primarios. Entre otros motivos porque, en ambos casos, intervienen factores limitadores como la
escasez de tiempo y recursos, que obligan a los autores a equilibrar el rigor metodológico con la viabilidad
práctica. A causa de esto, casi todos los autores tienen la precaución de indicar no solo sus ventajas y
fortalezas sino también sus desventajas y debilidades –por ejemplo, Matt y Cook (2019:495-508) enumeran
hasta veinticinco amenazas a la validez de inferencias generalizadas a partir de síntesis de investigación, y
otros autores como Hammersley (2020:25-27) o Suri (2020:41-54) critican y exponen consideraciones éticas
de la realización de revisiones sistemáticas en la investigación educativa.
De las ventajas de la revisión sistemática frente a la revisión tradicional ya hemos hablado en los epígrafes
precedentes. Se resalta, de un lado, el aumento notable de la precisión y fiabilidad de este tipo de trabajos,
gracias, sobre todo, a las nuevas técnicas de análisis para localizar investigación generadas desde la aparición
de Internet. De otro lado, se remarca su capacidad para acumular más evidencias y hacer estimaciones
más precisas, así como para probar la validez de los resultados que generaliza. En palabras de Cooper et
al. (2019c:519): “The ability of a synthesist to test whether a finding appears to vary across settings, times,
Blanco Pena, J. M. CLAC 97 (2024): 179-193 191

people, measurements, and researchers surpasses by far the ability of most primary studies.” Con respecto
a sus desventajas y limitaciones, señalamos, a continuación, las que se consideran más importantes.
Cooper et al. (2019c:520) llaman la atención sobre las tres siguientes debilidades: (1) la naturaleza
correlacional de las evidencias generadas, (2) el carácter post hoc de las pruebas de síntesis, (3) la necesidad
de nueva investigación primaria. El primer problema, crítico e inherente a todas las revisiones sistemáticas,
surge del hecho de que, para respaldar las afirmaciones sobre las relaciones causales, solo puede usarse
la evidencia generada por la síntesis, la cual, a su vez, solo aparece cuando cada estudio primario contiene
resultados que prueban directamente la relación bajo consideración. Es decir, el control estadístico de los
factores de confusión, en el nivel de evidencia generada por la síntesis, no resulta suficiente, de ahí que “the
result can never lead to the same confidence in inferences produced by study-generated evidence from
investigations employing random assignment.” (2019c:520) La segunda desventaja radica en el hecho de
que el sintetizador no puede enunciar una hipótesis derivada de una evidencia y, al mismo tiempo, concluir
que la misma evidencia apoya la hipótesis; dicho de otro modo, una vez que los datos se han usado para
desarrollar una teoría, estos no pueden usarse para probarla. Por último, con la tercera limitación Cooper et
al. quieren enfatizar que una revisión sistemática nunca puede sustituir una nueva investigación primaria,
sino que ambos trabajos son complementarios, de tal suerte que “a synthesis that concludes a problem is
solved, that no future research is needed, should be viewed with extreme skepticism.” (2019c:520)
En cuanto al metaanálisis, aunque es un método muy extendido y útil en Lingüística Aplicada, no siempre
es el mejor procedimiento para sintetizar estudios y, al igual que toda revisión sistemática, presenta también
ventajas y desventajas. Entre las primeras, In’nami et. al. (2020:248-250) destacan dos: (1) su capacidad para
estructurar los pasos o fases involucrados en el resumen de los estudios de manera exhaustiva e informar
de ellos explícitamente y en detalle, a fin de que los lectores puedan juzgar la veracidad del metaanálisis y
replicarlo ellos mismos; (2) los hallazgos de cada estudio se presentan de manera más clara y comparable.
Entre sus desventajas, se resalta, sobre todo, el llamado ‘problema de las peras y las manzanas’ (en
In’nami et. al., 2020:249, apples and oranges problem), por el que a veces se combinan estudios que no
resulta sensato combinar. Por ejemplo, si lo que se pretende es analizar el efecto general de la enseñanza
a través de varias habilidades –como comprensión lectora, expresión oral y léxico–, deben combinarse
todos los estudios existentes sobre estas destrezas. Si, por el contrario, el interés se centra en una habilidad
particular, por ejemplo, la lectura, los estudios sobre su enseñanza deben tratarse por separado y no
combinarse con los de la expresión oral o el léxico. Dicho de otro modo, a la hora de combinar estudios, las
decisiones teóricas deben prevalecer sobre las estadísticas. Una segunda desventaja del metaanálisis es
que su calidad depende, en última instancia, de la propia calidad de los estudios primarios considerados,
pues no todos los estudios están bien concebidos, diseñados, ejecutados y comunicados. Por último, un
inconveniente adicional es que su buena estructuración y ejecución no garantiza una mayor objetividad,
fiabilidad y transparencia en relación con otros métodos de revisión. Esto es debido, entre otras cosas, a que
durante el proceso de investigación se toman muchas decisiones que afectan a los resultados, sobre todo
cuando corren a cargo de un único revisor –por ejemplo, In’nami et. al. (2020: 249) aportan su experiencia
en relación con los idiomas incluidos a la hora de efectuar la búsqueda en bases de datos durante los
metaanálisis.

4. Conclusiones
Frente a la tradicional revisión bibliográfica narrativa, la moderna revisión sistemática, tanto cualitativa
como cuantitativa, constituye una metodología más objetiva y rigurosa para la investigación de aspectos y
resultados de un conjunto amplio de estudios primarios en muchas disciplinas. De lo expuesto a lo largo de
los apartados anteriores, se desprenden varios aspectos de esta metodología que podrían ser adoptados, a
modo de ‘control de calidad’, por las investigaciones de carácter bibliográfico en el área del E/LE.
En primer lugar, la caracterización previa del trabajo que se pretende realizar. Esta podría hacerse, por
un lado, en función de todos los rasgos generales que definen las revisiones bibliográficas, esto es, ’foco’,
‘meta’, ‘perspectiva’, ‘cobertura’, ‘organización’ y ‘público’, con sus respectivas categorías, en lugar de
limitarse a señalar criterios vinculados con solo a alguno de ellos –normalmente con la cobertura–; y por
otro lado, en virtud del tipo y método de revisión concretos que se pretende llevar a cabo, de acuerdo con
el propósito, el tipo de muestra (datos primarios), de evaluación de la calidad y de análisis de datos, el estilo
de escritura, la lógica de la revisión y el método empleado: resumen narrativo, síntesis de investigación
cuantitativa, metaestudio, etc. A nuestro modo de ver, cualquier trabajo de naturaleza bibliográfica dentro del
área E/LE debería diseñarse partiendo de estas dos taxonomías.
En segundo lugar, el establecimiento de un plan de trabajo de acuerdo con un protocolo por etapas
que abarque desde la formulación del problema (1.ª etapa) hasta la presentación de resultados (7.ª etapa),
especificando, para cada una de ellas, la pregunta de investigación y la función primaria atendida.
En cuanto a los numerosos detalles de esta metodología, consideramos que manuales como el de
Cooper et al. para las revisiones sistemáticas y metaanálisis cuantitativos, o los de Sandelowski y Barroso
(2006) y Finfgeld-Connett (2018), para las síntesis cualitativas, constituyen referencias de primer orden para
conocerlos en profundidad, por lo que recomendamos su utilización también en el ámbito del E/LE.
Otra de las conclusiones del presente trabajo es que no debe confundirse, ni usarse como sinónimos,
los términos ‘metaanálisis’, por un lado, y ‘revisión sistemática’ o ‘síntesis de investigación’, por otro, pues
remiten a conceptos diferentes: el primero se refiere al método o los procedimientos utilizados para
192 Blanco Pena, J. M. CLAC 97 (2024): 179-193

sintetizar numéricamente los resultados, también numéricos, de un conjunto amplio de estudios primarios
cuantitativos; los segundos designan el proceso estructurado y riguroso de revisión, cualitativa o cuantitativa,
de un cuerpo bibliográfico extenso. Así, en muchas ocasiones, aunque no siempre, una revisión sistemática
será el marco en que en el que se inscriba un metaanálisis como una fase más de la investigación.
A este respecto, hemos observado que algunos trabajos recientes dentro del área E/LE que se
autodenominan metaanálisis, en realidad, no lo son. Nos referimos, por ejemplo, a estudios como los de
Hsiao (2019) y Hsiao y Vieco (2020), centrados en los métodos de investigación de las tesis publicadas
entre 2017 y 2019, y, por otro lado, al de Santos Gargallo y Alexopoulou (2021), enfocado hacia el análisis de
errores en la interlengua de las tesis defendidas durante el período 1991-2019. A nuestro modo de ver, se
trata más bien de trabajos de revisión bibliográfica sobre diferentes aspectos –métodos de investigación en
el primer caso y tipología de errores en el segundo– realizados bajo un método de investigación cuantitativo
(quantitative research), que, sin embargo, no entrañan ninguna síntesis de resultados cuantitativos de los
estudios primarios examinados; de hecho, muchos de los estudios considerados ni siquiera contienen datos
cuantitativos.
No obstante, sobre esta cuestión conviene resaltar que, aunque, en principio, tanto la revisión sistemática
como el metaanálisis están pensados, sobre todo, para la realización de síntesis de resultados de estudios
primarios, pensamos que esta metodología constituye también un instrumento interesante para emprender
cualquier trabajo que implique la revisión de aspectos que afectan a un cuerpo amplio de bibliografía –por
ejemplo, trayectorias metodológicas de investigación, tipología de errores, etc.–, pues obliga a seguir un
protocolo de trabajo ordenado y riguroso que favorece la objetividad, independientemente de si la información
es o se transforma en datos numéricos.
En definitiva, creemos que la Didáctica del E/LE también puede beneficiarse de las ventajas que ofrece
la metodología aquí presentada, especialmente en el caso de las investigaciones de naturaleza bibliográfica
llevadas a cabo por equipos de trabajo que han de manejar una cantidad grande de estudios primarios.
Convendría, además, que estos equipos estuvieran compuestos por expertos no solo en el tema a investigar
sino también en la metodología de revisión. En caso de tratarse de una cantidad de estudios más reducida,
de equipos de trabajo pequeños o de una sola persona, el protocolo que debería seguirse es el mismo, es
decir, con las mismas características de sistematicidad y rigurosidad. Y dadas las ventajas que presenta,
pensamos también que la revisión sistemática, en tanto que proceso científico con características propias,
debería formar parte no solo de los programas de formación en Lingüística Aplicada sino también en
Didáctica del E/LE (sobre la enseñanza de la revisión sistemática, véase Nind, 2020:55-68).
Además, de cara a una transparencia y reproductibilidad de las revisiones, como criterio adicional de
calidad se recomienda también, como primer paso, ‘registrar’ el proyecto y elaborar su correspondiente
‘protocolo’, es decir, describir el plan de investigación de acuerdo con unas pautas estandarizadas, que
normalmente incluyen el título, la introducción o antecedentes, los objetivos y los métodos (Mayo-Wilson y
Grant, 2019:472). Se trata de un paso cuya importancia enfatizan muchas revistas académicas en sus pautas
para la presentación de artículos de revisión; de hecho, hay revistas dedicadas específicamente a publicar
síntesis de investigación. A este respecto, sugerimos registrar los proyectos del área E/LE en la base de
datos Open Science Framework, que es la indicada para revisiones cuyos resultados no tienen que ver con
el campo de la salud. Esta red permite la inscripción prospectiva de cualquier tipo de estudio, así como la
creación de registros transparentes y completos de proyectos tomando ‘instantáneas’ de los protocolos
completados y los formularios de extracción de datos antes de la recopilación de estos.
En cualquier caso, para terminar, debe tenerse también en cuenta que no estamos ante una forma perfecta
de revisar bibliografía. De hecho, con el transcurrir de las décadas, se han observado problemas con este
método que no pueden ignorarse y que todavía deben superarse. Por lo tanto, si se decide adoptarlo para
realizar estudios dentro del área E/LE o en programas de formación, conviene conocer tales problemas para
tenerlos en cuenta, así como estar al corriente de las eventuales mejoras y avances que puedan realizarse.

Referencias bibliográficas
Borenstein, Michael, Hedges, Larry V., Higgins, Julian P. T., y Rothstein, Hannah R. (2009). Introduction to
Meta-Analysis. Chichester: Wiley. https://doi.org/10.1002/9780470743386
Botella, Juan, y Sánchez-Meca, Julio. (2015): Metaanálisis en Ciencias Sociales y de la Salud. Madrid: Síntesis.
Botella, Juan y Zamora, Ángela. (2017). El meta-análisis: una metodología para la investigación en educación.
Educación XX1, 20(2), 17–38. https://doi.org/10.5944/educXX1.18241
Cook, Vivian. (2017). Second Language Learning and Language Teaching (5th ed.). London/New York: Routledge.
Cooper, Harris, Hedges, Larry V., y Valentine, Jeffrey C. (Eds.). (2019). The Handbook of Research Synthesis and
Meta-Analysis (3rd edition). New York: Russell Sage Foundation. https://doi.org/10.7758/9781610448864
Cooper, Harris, Hedges, Larry V., y Valentine, Jeffrey C. (2019b). Research synthesis as a scientific process.
En H. Cooper, L.V. Hedges y J.C. Valentine (Eds.), The Handbook of Research Synthesis and Meta-Analysis
(3rd edition) (pp. 3–16). New York: Russell Sage Foundation. https://doi.org/10.7758/9781610448864.4
Cooper, Harris, Hedges, Larry V., y Valentine, Jeffrey C. (2019c). Potentials and limitations of research synthesis.
En H. Cooper, L.V. Hedges y J.C. Valentine (Eds.), The Handbook of Research Synthesis and Meta-Analysis
(3rd edition) (pp. 517–525). New York: Russell Sage Foundation. https://doi.org/10.7758/9781610448864.26
Finfgeld-Connett, Deborah. (2018). A Guide to Qualitative Meta-synthesis. New York & London: Routledge.
https://doi.org/10.4324/9781351212793
Blanco Pena, J. M. CLAC 97 (2024): 179-193 193

Hammersley, Martyn. (2020). Reflections on the Methodological Approach of Systematic Reviews. En O.

Zawacki-Richter, M. Kerres, S. Bedenlier, M. Bond y K. Buntins (Eds.), Systematic Reviews in Educational
Research. Methodology, Perspectives and Application (pp. 23–39). Wiesbaden: Springer. https://doi.
org/10.1007/978-3-658-27602-7_2
Hernández-Sampieri, Roberto, y Mendoza Torres, Christian Paulina. (2018). Metodología de la investigación:
las rutas cuantitativa, cualitativa y mixta. Ciudad de México: McGraw Hill Education.
Higgins, Julian P. T., Thomas, James, Chandler, Jacqueline, Cumpston, Miranda, Li, Tianjing, Page Matthew
J. y Welch, Vivian A. (2020). Cochrane Handbook for Systematic Reviews of Interventions (2nd edition).
Oxford: Wiley-Blackwell. https://doi.org/10.1002/9781119536604
Hsiao, Du-Lu y Vieco, Mila. (2020). Trayectoria investigadora de las tesis sobre la enseñanza de ELE: un
trabajo longitudinal de tres años. Interface, 13, 55–95. https://doi.org/ 10.6667/interface.13.2020.114
Hsiao, Du-Lu. (2019). Estado metodológico de las tesis doctorales en torno a ELE defendidas en 2017.
Marcoele, 29, 1–26.
In’nami, Yo, Koizumi, Rie y Tomita, Yasuyo (2020). Meta-analysis in applied linguistics. En J. McKinley y R. Heath
(Eds.), The Routledge Handbook of Research Methods in Applied Linguistics (pp. 240–252). London/New
York: Routledge. https://doi.org/10.4324/9780367824471-21
Jesson, Jill, Lacey, Fiona M. y Matheson, Lydia. (2011). Doing Your Literature Review. Traditional and Systematic
Techniques. London: SAGE.
Kothari, C.R. (2004, revised edition). Research Methodology: Methods and Techniques. New Delhi: New Age.
Lasserson, Toby J., Thomas, James y Higgins, Julian P. T. (2020). Starting a review. En J.P.T. Higgins, J. Thomas,
J. Chandler, M. Cumpston, T. Li, M.J. Page y V.A. Welch, Cochrane Handbook for Systematic Reviews of
Interventions (2nd edition) (pp. 3–12). Oxford: Wiley-Blackwell. https://doi.org/10.1002/9781119536604.ch1
Littell, Julia. H., Corcoran, Jacqueline, y Pillai, Vijayan. (2008). Systematic reviews and meta-analysis. Oxford:
Oxford University Press. https://doi.org/10.1093/acprof:oso/9780195326543.001.0001
Macaro, Ernesto. (2020). Systematic reviews in Applied Linguistics. En J. McKinley y R. Heath (Eds.), The
Routledge Handbook of Research Methods in Applied Linguistics (pp. 230–239). London/New York:
Routledge. https://doi.org/10.4324/9780367824471-20
Matt, Georg E. y Cook, Thomas D. (2019). Threats to the Validity of Generalized Inferences from
Research Syntheses. En H. Cooper, L.V. Hedges y J.C. Valentine (Eds.), The Handbook of Research
Synthesis and Meta-Analysis (3rd ed.) (pp. 489–515). New York: Russell Sage Foundation. https://doi.
org/10.7758/9781610448864.25
Mayo-Wilson, Evan, y Grant, Sean. (2019). Transparent reporting: registrations, protocols, and final reports. En
H. Cooper, L.V. Hedges y J.C. Valentine (Eds.), The Handbook of Research Synthesis and Meta-Analysis (3rd
edition) (pp. 471–488). New York: Russell Sage Foundation. https://doi.org/10.7758/9781610448864.24
Mukherjee, Shyama Prasad. (2020). A Guide to Research Methodology: An Overview of Research Problems,
Tasks and Methods. New York: CRC Press. https://doi.org/10.1201/9780429289095
Nagmode, Manoj S. (2019). Literature Survey and Problem Statement. En V. Bairagi y M.V. Munot (Eds.),
Research Methodology: A Practical and Scientific Approach (pp. 25–68). New York: CRC Press. https://
doi.org/10.1201/9781351013277-2
Nind, Melanie. (2020). Teaching Systematic Review. En O. Zawacki-Richter, M. Kerres, S. Bedenlier, M.
Bond y K. Buntins (Eds.), Systematic Reviews in Educational Research. Methodology, Perspectives and
Application (pp. 55–58). Wiesbaden: Springer. https://doi.org/10.1007/978-3-658-27602-7_4
Ortega, Lourdes. (2018). Research Synthesis. En B. Paltridge y A. Phakiti (Eds.), Research Methods in Applied
Linguistics (pp. 175–189). London: Bloomsbury. https://doi.org/10.1093/acrefore/9780190201098.013.406
Petticrew, Mark y Roberts, Helen. (2006). Systematic Reviews in the Social Sciences: A Practical Guide. Oxford:
Blackwell. https://doi.org/10.1002/9780470754887
Pruzan, Peter. (2016). Research Methodology: The Aims, Practices and Ethics of Science. Switzerland: Springer.
https://doi.org/10.1007/978-3-319-27167-5
Sánchez-Meca, Julio., y Botella, Juan. (2010). Revisiones sistemáticas y meta-análisis: Herramientas para la
práctica profesional. Papeles del Psicólogo, 31(1), 7–17.
Sánchez-Meca, Julio. (2010). Cómo realizar una revisión sistemática y un meta-análisis. Aula abierta, 38(2),
53–64.
Sandelowski, Margarete y Barroso, Julie. (2006). Handbook for Synthesizing Qualitative Research. New York:
Springer.
Santos Gargallo, Isabel, y Alexopoulou, Angélica. (2021). Metaanálisis de las tesis doctorales de análisis de
errores en la interlengua española a lo largo de tres décadas (1991-2019). Marcoele, 32, 1–36.
Surbhi, Jain. (2019). Research Methodology in Arts, Science and Humanities. Oakville: Society.
Suri, Harsh. (2020). Ethical Considerations of Conducting Systematic Reviews in Educational Research. En O.
Zawacki-Richter, M. Kerres, S. Bedenlier, M. Bond y K. Buntins (Eds.), Systematic Reviews in Educational
Research. Methodology, Perspectives and Application (pp. 41–55). Wiesbaden: Springer.
Zawacki-Richter, Olaf, Kerres, Michael, Bedenlier, Svenja, Bond, Melissa y Buntins, Katja. (Eds.). (2020).
Systematic Reviews in Educational Research. Methodology, Perspectives and Application. Wiesbaden:
Springer. https://doi.org/10.1007/978-3-658-27602-7