Revisiones sistemáticas y meta-análisis en Ciencias

Sociales y Humanidades

Francisco José García-Peñalvo

Dpto. Informática y Automática
Instituto Universitario de Ciencias de la Educación
Universidad de Salamanca, Salamanca
fgarcia@[Link]
[Link]
[Link]
Online @frangp
25 y 27 de mayo – 1 y 15 de junio de 2021

This documento is licensed under a Creative Commons

Disponible en: [Link] Reconocimiento 4.0 Internacional License.
 Fundamentación
• El desarrollo de un estudio sistemático de literatura es el método más
robusto de construir el estado de la cuestión de una investigación
• El curso tiene como objetivos definir un protocolo robusto desde el
punto de vista de la metodología de la investigación para el desarrollo
de estudios sistematizados de literatura, ya sea con un alcance de un
mapeo, de un análisis de la literatura o de una comparación o meta-
análisis
• Las competencias que se alcanzarán con este curso son
• Capacidad de realizar estudios sistemáticos de literatura, siguiendo un
protocolo metodológicamente robusto
• Capacidad de documentar este proceso sistemático de literatura en un
documento académico: informe, tesis o artículo científico

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 2

 Datos generales

• Horas totales: 30 horas (20 h asincrónicas, 10 h sincrónicas)

• Modalidad: No presencial (virtual)
• Fecha de inicio: 25 de mayo de 2021
• Frecuencia: 2.5 por sesión, un total de cuatro sesiones sincrónicas
• Videoconferencia: Google Meet
• Aula virtual: Google Classroom
• Docente: Dr. Francisco José García-Peñalvo

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 3

 Desarrollo

• Sesión #1: 25 de mayo de 2021. Bases de las revisiones sistemáticas I

• Sesión #2: 27 de mayo de 2021. Bases de las revisiones sistemáticas II
• Sesión #3: 1 de junio de 2021. Ejemplos y planteamiento de un caso práctico
• Sesión #4: 15 de junio de 2021. Presentaciones, defensas y feedback del producto
final

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 4

 Producto final

• Se debe planificar, desarrollar y documentar una revisión sistemática de literatura

(acotada en el tiempo par obtener unos resultados, se recomienda usar el
enfoque de revisión de mapeo de literatura)
• El informe final se realizará siguiendo la estructura definida en el marco de
referencia PRISMA, adaptado al tipo de revisión sistemática que se realice
• Se trabajará en equipo (dos integrantes como máximo) de tal manera que el
producto evidencie las competencias esperadas

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 5

 Índice
1. Introducción a las revisiones sistemáticas
2. Revisiones sistemáticas de literatura vs. Revisiones de mapeo de literatura
3. Marcos metodológicos de referencia para la realización de revisiones
sistemáticas y meta-análisis de literatura
4. Fase de planificación
5. Fase de realización
6. Fase de informe
7. Meta-análisis
8. Caso de estudio
9. Conclusiones
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 6
 [Link]
1. Introducción a las revisiones sistemáticas
Tipos de documentos científicos
• Trabajos académicos (trabajos fin de grado, trabajos fin de máster, tesis doctorales)
• Artículo de investigación
• Artículo de datos (data paper – publicación académica de documento etiquetado con metadatos que
describe un conjunto particular de datos accesibles, o un grupo de ellos, publicados de acuerdo a las
prácticas académicas) [1]
• Artículo de revisión sistemática de literatura
• Artículo metodológico
• Meta-análisis (proceso de combinar los resultados de diversos estudios relacionados con el propósito de
llegar a una conclusión) [2]
• Ensayo (texto escrito, en general por un solo autor, en el cual se exponen de manera argumentativa, el
punto de vista, opiniones o posiciones del escritor ante un tema determinado)
• Artículo de divulgación científica
• Informes técnicos
• Post
• Presentaciones científicas
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 8
Artículos de revisión [3]
• Los trabajos de revisión tienen una gran aceptación en el ámbito
académico

• Últimamente, se está utilizando cada vez más el término revisión

sistemática para denominar a las revisiones bibliográficas que
deben preceder o justificar un estado de la cuestión o en general
cualquier estudio de revisión

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 9

Artículos de revisión
• El artículo de revisión se considera como un estudio detallado, selectivo y crítico que
integra la información esencial en una perspectiva unitaria y de conjunto [4, 5]
• La revisión se puede reconocer como un estudio en sí mismo, en el cual el revisor
tiene un interrogante, recoge datos (en la forma de artículos previos), los analiza y
extrae una conclusión
• La diferencia fundamental entre una revisión y un trabajo original o estudio primario,
es la unidad de análisis, no los principios científicos que se aplican [6]
• El objetivo fundamental del artículo de revisión intenta identificar qué se conoce del
tema, qué se ha investigado y qué aspectos permanecen desconocidos

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 10

Tipos de revisión de la literatura

Narrativas
Revisan un tópico de forma exhaustiva, incluyendo diversos
aspectos. Se presenta el tema en un formato narrativo, sin
justificar los métodos utilizados para obtener y seleccionar la
información presentada. Adecuadas para responder preguntas
de preparación [7]
Revisiones
Sistemáticas
Resumen y analizan la evidencia respecto de una pregunta específica
en forma estructurada, explícita y sistemática. Se tiene que explicitar
el método utilizado para encontrar, seleccionar, analizar y sintetizar
las fuentes primarias
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 11
Diferencias entre las revisiones narrativas y las
sistemáticas [8]

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 12

Tipos de revisión [9]
• Critical review. Tiene como objetivo demostrar que se ha investigado ampliamente la
literatura y ha evaluado críticamente su calidad. Va más allá de la mera descripción para
incluir un grado de análisis e innovación conceptual. Suele dar lugar a una hipótesis o a un
modelo. Ejemplos: [10-12]
• Literature review. Término genérico: materiales publicados que proporcionan un examen
de la literatura reciente o actual. Puede abarcar una amplia gama de temas con distintos
niveles de exhaustividad y amplitud. Ejemplos: [13-15]
• Mapping review/ systematic map. Traza y categoriza la literatura existente a partir de la
cual encargar nuevas revisiones y/o investigaciones primarias, identificando las lagunas en la
literatura de investigación. Ejemplos: [16-20]
• Meta-analysis. Técnica que combina estadísticamente los resultados de los estudios
cuantitativos para proporcionar un efecto más preciso de los resultados. Ejemplos: [21-24]

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 13

Tipos de revisión [9]
• Mixed studies review/mixed methods review. Se refiere a cualquier combinación de métodos en la que un
componente significativo es una revisión de la literatura (normalmente sistemática). Dentro de un contexto
de revisión, se refiere a una combinación de enfoques de revisión, por ejemplo, combinando la investigación
cuantitativa con la cualitativa. Ejemplo: [25]
• Overview. Término genérico: resumen de la literatura que intenta hacer un estudio de la misma y describir
sus características. Ejemplo: [26]
• Qualitative systematic review/qualitative evidence synthesis. Método para integrar o comparar las
conclusiones de los estudios cualitativos. Busca "temas" o "constructos" que se encuentran en los estudios
cualitativos individuales o entre ellos. Ejemplo: [27]
• Rapid review. Evaluación de lo que ya se sabe sobre una cuestión política o práctica, utilizando métodos de
revisión sistemática para buscar y evaluar críticamente la investigación existente. Ejemplo: [28]
• Scoping review. Evaluación preliminar del tamaño y el alcance potencial de la literatura de investigación
disponible. Tiene como objetivo identificar la naturaleza y el alcance de las pruebas de investigación
(normalmente incluye la investigación en curso). Ejemplo: [29]

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 14

Tipos de revisión [9]
• State-of-the-art review. Tienden a abordar asuntos más actuales en contraste con otros enfoques retrospectivos y
actuales combinados. Pueden ofrecer nuevas perspectivas sobre el tema o señalar un área para seguir investigando.
Ejemplo: [30]
• Systematic review. Intenta buscar, evaluar y sintetizar sistemáticamente las pruebas de la investigación, a menudo
siguiendo las directrices sobre la realización de una revisión. Son una forma de estudio secundario que usa una
metodología bien definida para identificar, analizar e interpretar todas las evidencias relacionadas con una pregunta
de investigación específica de una forma que es imparcial y (hasta cierto punto) repetible [31]. Ejemplos: [32-38]
• Systematic search and review. Combina los puntos fuertes de la revisión crítica con un proceso de búsqueda
exhaustivo. Por lo general, aborda preguntas amplias para producir una "síntesis de la mejor evidencia”. Ejemplo: [39]
• Systematized review. Intenta incluir elementos del proceso de revisión sistemática, pero sin llegar a ser una revisión
sistemática. Ejemplo: [40]
• Umbrella review. Se refiere específicamente a la revisión que recopila la evidencia de múltiples revisiones en un
documento accesible y utilizable. Se centra en una condición o problema amplio para el que existen intervenciones
que compiten entre sí y destaca las revisiones que abordan estas intervenciones y sus resultados. Ejemplos: [41-42]
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 15
Tipos de revisiones sistemáticas [43]

Cualitativas
Las evidencias se presentan en forma descriptiva sin un análisis estadístico

Revisiones
sistemáticas
Cuantitativas
o meta-análisis
Se combinan cuantitativamente los resultados usando técnicas estadísticas

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 16

Revisión sistemáticas de literatura – Systematic
Literature Review (SLR)
• Una SLR es un tipo de revisión de la literatura que recopila y analiza
críticamente múltiples estudios o trabajos de investigación a través de
un proceso sistemático

• Es un método sistemático para identificar, evaluar e interpretar el

trabajo de investigadores, académicos y profesionales en un campo
elegido [44]

• El objetivo de una SLR es proporcionar un resumen exhaustivo de la

literatura disponible pertinente a una pregunta de investigación
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 17
Revisión sistemáticas de literatura – Systematic
Literature Review (SLR) [45]
• Una revisión sistemática es aquella en la que existe una búsqueda
exhaustiva de estudios relevantes sobre un tema. Una vez
identificados y obtenidos los estudios, los resultados son
sintetizados de acuerdo con un método preestablecido y explícito

• Esta forma de revisión da al lector una gran ventaja sobre otras

revisiones: la posibilidad de replicarla y verificar si se llega a la
misma conclusión

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 18

Revisiones sistemáticas como investigaciones científicas [46]

Las revisiones sistemáticas son investigaciones

científicas en sí mismas, con métodos prefigurados y
un ensamblaje de los estudios originales, que
sintetizan los resultados de estos

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 19

Características de una revisión sistemática [31]
• Las revisiones sistemáticas comienzan definiendo un protocolo de
revisión que especifica la pregunta de investigación que se aborda y los
métodos que se utilizarán para llevar a cabo la revisión
• Las revisiones sistemáticas se basan en una estrategia de búsqueda
definida que tiene como objetivo detectar la mayor bibliografía
relevante posible
• Las revisiones sistemáticas documentan su estrategia de búsqueda para
que otros investigadores puedan evaluar su rigor, exhaustividad y la
posible repetición del proceso (teniendo en cuenta que las búsquedas
en las bibliotecas digitales son casi imposibles de replicar)
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 20
Características de una revisión sistemática [31]
• Las revisiones sistemáticas requieren criterios de inclusión y exclusión
explícitos para evaluar cada potencial de estudio primario
• Las revisiones sistemáticas especifican la información que pueden
obtener de cada estudio primario, incluyendo los criterios de calidad por
los que evaluar cada estudio primario
• Una revisión sistemática es un requisito previo para un meta-análisis
cuantitativo

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 21

Ventajas de las revisiones sistemáticas [31, 43]
• Su principal ventaja es la síntesis de información respecto de una pregunta de investigación
específica que permite resolver las dudas en forma eficiente
• Una metodología bien definida hace que sea menos probable que los resultados de la
literatura estén sesgadas, aunque no protege contra el sesgo de publicación en los estudios
primarios
• Pueden proporcionar información sobre los efectos de un fenómeno a través de una amplia
gama de configuraciones y métodos empíricos
• Si los estudios dan resultados consistentes, las revisiones sistemáticas proporcionan evidencia de
que el fenómeno es robusto y transferible
• Si los estudios dan resultados inconsistentes, se pueden estudiar las fuentes de variación
• En el caso de los estudios cuantitativos es posible combinar los datos utilizando técnicas de
meta-análisis. Esto aumenta la probabilidad de detectar efectos reales que los estudios más
pequeños individuales son incapaces
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 22
Limitaciones de las revisiones sistemáticas [31, 43]
• Son estudios retrospectivos por lo cual están sujetos a un sesgo en las
diversas etapas del proceso: búsqueda, selección, análisis y síntesis de la
información
• No está garantizada la calidad de este tipo de estudios, por lo que el
lector deberá ser capaz de evaluar críticamente su validez
• La realización de revisiones sistemáticas está limitada por la cantidad y
calidad de los estudios previamente realizados
• Requiere un esfuerzo mucho mayor que una revisión tradicional de
bibliografía, el proceso es largo, requiere tiempo y dedicación
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 23
Objetivos para hacer una revisión
• Alcanzar un conocimiento más profundo en su campo del conocimiento
• Sentar las bases del estado de la cuestión de un trabajo académico (fin
de máster, tesis doctoral, etc.)
• Obtener información sobre las tendencias actuales y los desafíos
futuros
• Identificar los autores más importantes
• Identificar las revistas y conferencias más importantes
• Tener la base sobre la que realizar buenas publicaciones
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 24
[Link]

2. Revisiones sistemáticas de literatura vs. Revisiones de mapeo

de literatura
Revisiones de mapeo de literatura (mappings) [9]
• El objetivo es mapear y categorizar la literatura existente sobre un
tema en particular, identificando las lagunas en la literatura a
partir de las cuales se pueden encargar nuevas revisiones y/o
investigaciones primarias

• Los mappings se distinguen de las revisiones sistemáticas de

literatura en que el resultado posterior puede implicar un trabajo
de revisión adicional o una investigación primaria y este resultado
no se conoce de antemano
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 26
Revisiones de mapeo de literatura (mappings) [9]
• Son una herramienta valiosa para ofrecer a los responsables de las
políticas, profesionales e investigadores un medio explícito y
transparente para identificar los aspectos clave del mapping
• Los mappings pueden caracterizar los estudios de diferentes formas,
por ejemplo, según la perspectiva teórica, el grupo de población o el
entorno en el que se realizaron los estudios
• También pueden proporcionar la base para tomar la decisión informada
sobre si se debe realizar la revisión en profundidad y la síntesis de todos
los estudios o solo de un subconjunto
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 27
Revisiones de mapeo de literatura (mappings)
• Las técnicas y resultados de los mapeos de literatura son muy
diferentes dependiendo del propósito
• Escribir palabras, frases y tópicos relacionados con el tema principal en
un libro blanco para recopilar conceptos y temas clave
• Resumir los hallazgos clave de revistas, libros y documentos de trabajo
para crear mapas conceptuales
• Presentar un resumen de las revistas, conferencias, años de publicación,
autores más importantes, etc.
• Etc.
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 28
Revisiones sistemáticas de literatura vs. Revisiones de
mapeo de literatura

Mapping Review

Systematic Literature Review

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 29

Revisiones sistemáticas de literatura vs. Revisiones de
mapeo de literatura
• Aunque los mappings tienen sentido de forma independiente, como
medio de descubrir el potencial de un campo de investigación o su su
estado en un determinado momento, también pueden utilizarse para
complementar una SLR
• Las revisiones de mapeo permiten contextualizar las revisiones
sistemáticas de literatura dentro de una bibliografía más amplia e
identificar las lagunas en la base de pruebas [9]
• Las técnicas de mapeo son útiles al principio de una revisión sistemática
de la literatura como una herramienta de tormenta de ideas y
contextualización [47]
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 30
Revisiones sistemáticas de literatura vs. Revisiones de
mapeo de literatura

Mapping in Literature Review

Systematic Literature Review

Mejores Resultados
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 31
Debilidades de las revisiones de mapeo [9]
• Están limitadas en el tiempo y carecen de la síntesis y el análisis propios
de las SLR
• Los estudios pueden caracterizarse a un nivel descriptivo amplio y, por
tanto, simplificar en exceso el panorama o enmascarar una variación
considerable (heterogeneidad) entre los estudios y sus resultados,
dependiendo del grado de especificidad del proceso de codificación
• No suelen incluir un proceso de evaluación de la calidad, caracterizando
los estudios únicamente en función del diseño del estudio

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 32

 [Link]
3. Marcos metodológicos de referencia para la realización de
revisiones sistemáticas y meta-análisis de literatura
Características de una revisión sistemática [3]
• Sistemática significa que no es arbitraria: ni sesgada ni subjetiva, sino que, por el contrario,
se ha examinado la mejor producción científica disponible utilizando las mejores fuentes de
información
• Completa significa que se han usado sistemas de información de los que se presume que
facilitan el acceso al grueso de la producción de calidad de una disciplina a nivel internacional;
y que no se ha descartado ni se ha incluido nada sin seguir otros criterios que los que se han
hecho explícitos
• Explícita implica que se dan a conocer tanto las fuentes utilizadas como los criterios de
búsqueda y de selección y exclusión
• Reproducible al ser sistemática y explícita. Se permite que otros investigadores comprueben
el trabajo y, si lo desean, seguir los pasos y contrastar los resultados obtenidos para
determinar su exactitud o su grado de acierto
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 34
Marcos metodológicos para la realización de revisiones
sistemáticas
• Principales marcos metodológicos de referencia para determinar los
protocolos de búsqueda que se debe seguir en los diferentes tipos de
revisiones sistemáticas
• Preferred Reporting Items for Systematic Reviews and Meta-Analyses
(PRISMA) [48-50]
• Search, Appraisal, Synthesis, and Analysis (SALSA) [9]
• Protocol and Reporting result with Search, Appraisal, Synthesis, and
Analysis framework, and develop (PSALSAR) [51]
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 35
PRISMA ([Link]
• El objetivo del marco PRISMA es ayudar a los autores a mejorar la
información de las revisiones sistemáticas y los meta-análisis
• PRISMA también puede ser útil para la evaluación crítica de las
revisiones sistemáticas publicadas
• La declaración PRISMA consta de una lista de comprobación de 27
elementos y un diagrama de flujo de cuatro fases
• La lista de comprobación que se incluye en PRISMA no es un
instrumento de evaluación de la calidad de una revisión sistemática

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 36

 Section/topic # Checklist item Reported on Page #

Lista de comprobación
Title
Title 1 Identify the report as a systematic review, meta-analysis, or both.
Abstract
Structured summary 2 Provide a structured summary including, as applicable: background; objectives; data sources;
study eligibility criteria, participants, and interventions; study appraisal and synthesis methods;

de PRISMA [49]
results; limitations; conclusions and implications of key findings;
systematic review registration number.
Introduction
Rationale 3 Describe the rationale for the review in the context of what is already known.
Objectives 4 Provide an explicit statement of questions being addressed with reference to participants,
interventions, comparisons, outcomes, and study design (PICOS).
Methods
Protocol and registration 5 Indicate if a review protocol exists, if and where it can be accessed (e.g., Web address),
and, if available, provide registration information including registration number.
Eligibility criteria 6 Specify study characteristics (e.g., PICOS, length of follow-up) and report characteristics
(e.g., years considered, language, publication status) used as criteria for eligibility, giving rationale.
Information sources 7 Describe all information sources (e.g., databases with dates of coverage, contact with study
authors to identify additional studies) in the search and date last searched.
Search 8 Present full electronic search strategy for at least one database, including any limits used,
such that it could be repeated.
Study selection 9 State the process for selecting studies (i.e., screening, eligibility, included in systematic review,
and, if applicable, included in the meta-analysis).
Data collection 10 Describe method of data extraction from reports (e.g., piloted forms, independently,
process in duplicate) and any processes for obtaining and confirming data from investigators.
Data items 11 List and define all variables for which data were sought (e.g., PICOS, funding sources)
and any assumptions and simplifications made.
Risk of bias in individual 12 Describe methods used for assessing risk of bias of individual studies (including
studies specification of whether this was done at the study or outcome level), and how
this information is to be used in any data synthesis.
Summary measures 13 State the principal summary measures (e.g., risk ratio, difference in means).
Synthesis of results 14 Describe the methods of handling data and combining results of studies, if done,
including measures of consistency (e.g., I2) for each meta-analysis.
Risk of bias 15 Specify any assessment of risk of bias that may affect the cumulative evidence
across studies (e.g., publication bias, selective reporting within studies).
Additional analyses 16 Describe methods of additional analyses (e.g., sensitivity or subgroup analyses,
meta-regression), if done, indicating which were pre-specified.
Results
Study selection 17 Give numbers of studies screened, assessed for eligibility, and included in the review,
with reasons for exclusions at each stage, ideally with a flow diagram.
Study characteristics 18 For each study, present characteristics for which data were extracted (e.g., study size,
PICOS, follow-up period) and provide the citations.
Risk of bias within studies 19 Present data on risk of bias of each study and, if available,
any outcome-level assessment (see Item 12).
Results of individual 20 For all outcomes considered (benefits or harms), present, for each study:
studies (a) simple summary data for each intervention group and
(b) effect estimates and confidence intervals, ideally with a forest plot.
Synthesis of results 21 Present results of each meta-analysis done, including confidence
intervals and measures of consistency.
Risk of bias across 22 Present results of any assessment of risk of bias across studies (see Item 15).
studies
Additional analysis 23 Give results of additional analyses, if done (e.g., sensitivity or subgroup analyses, meta-regression).
Discussion
Summary of evidence 24 Summarize the main findings including the strength of evidence for each main outcome;
consider their relevance to key groups (e.g., health care providers, users, and policy makers).
Limitations 25 Discuss limitations at study and outcome level (e.g., risk of bias), and at review level
(e.g., incomplete retrieval of identified research, reporting bias).
Conclusions 26 Provide a general interpretation of the results in the context of other evidence,
and implications for future research.
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades Funding 37
Funding 27 Describe sources of funding for the systematic review and other support
(e.g., supply of data); role of funders for the systematic review.
Diagrama de flujo de PRISMA [49] D. Moher et al. / International Journal of Surgery 8 (2010) 336e3

8. Discussion

The quality of re
optimal.22e27 In a re
authors reported as
though there is over
and its impact on
when the possibility
guarantee that system
it appropriately.30 A
assessment does not
reporting an assessm
a marker of the thor
review.
Several approache
reviews on a broader
reviews are now co
diagnostic32 or progn
35
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades policy making.38 Th
SALSA [9]
• Permite analizar si una metodología de análisis garantiza las
cuatro características (sistemática, completa, explícita y
reproducible)
Search
AppraisaL
Synthesis
Analysis
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 39
SALSA [9]
• Search
• Se refiere a cómo se lleva a cabo la búsqueda de los trabajos que serán objeto de revisión
• El protocolo de revisión debe establecer que la búsqueda se realice utilizando las bases de
datos de referencia, como WoS o Scopus, por ejemplo
• Se refiere también a que la búsqueda debe hacerse con criterios transparentes y bien
definidos, tanto de inclusión como de exclusión de los trabajos a analizar. Normalmente,
estos criterios se expresarán con la elección de las palabras clave, las ecuaciones de
búsqueda correspondientes y posiblemente aplicando filtros de algún tipo. Por ejemplo,
documentos publicados en los últimos 5 o 10 años, o en determinados idiomas, etc.
• El objetivo final de esta fase es conseguir un banco de artículos formado por un número
variable que puede oscilar entre unas decenas y un centenar, dependiendo del tipo de
estudio, los objetivos y los criterios de selección y exclusión aplicados
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 40
SALSA [9]
• AppraisaL
• Esta fase se refiere a la evaluación de los trabajos obtenidos a través de las
diversas búsquedas, con qué criterios se considerarán las contribuciones de cada
uno de los componentes del banco de artículos inicial para decidir si finalmente
formarán parte de la revisión
• Suelen utilizarse criterios que establecen un doble filtro:
criterios pragmáticos, como la fecha de publicación de los trabajos, los ámbitos
geográficos o temático, etc.; y criterios de calidad de los trabajos, como la calidad
de la investigación, las metodologías utilizadas, los resultados, etc.
• En esta fase servirá para excluir por tanto los trabajos del corpus final y
asegurarse que los que formen parte de la revisión tienen suficiente calidad y
pertinencia para formar parte de la misma
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 41
SALSA [9]
• Synthesis y Analysis
• Estas dos fases se refieren a aquellas que permitirán reunir y comparar los resultados de cada
uno de los componentes del banco de artículos
• En el caso de investigaciones cuantitativas, se hará mediante técnicas estadísticas
• En el caso de investigaciones cualitativas, se puede presentar en diversas formas, entre ellas,
la revisión o la narración crítica y el estado de la cuestión
• Synthesis se refiere a representación sintética de cada trabajo en base a la extracción de las
características de cada artículo considerado. En el caso de las investigaciones cuantitativas se
referirá a aspectos numérico-estadísticos mediante técnicas de metasíntesis. En el caso de
investigaciones de tipo cualitativo se pueden utilizar tablas o fichas para sintetizar las dimensiones
comunes con las que se han estudiado los diferentes artículos o trabajos seleccionados
• Analysis se refiere a la descripción y valoración global de los resultados encontrados. En el caso de
los estados de la cuestión permite presentar un discurso global sobre la situación del campo de
estudios considerado, a través del análisis de los mismos
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 42
Tipos de revisión caracterizados usando el marco SALSA [9]

94
Table 1 Main review types characterized by methods used

A typology of reviews, Maria J. Grant & Andrew Booth

Methods used (SALSA)

Label Description Search Appraisal Synthesis Analysis

Journal compilation © 2009 Health Libraries Group. Health Information and Libraries Journal, 26, pp.91–108
Critical review Aims to demonstrate writer has extensively Seeks to identify No formal quality Typically narrative, Significant component: seeks to
researched literature and critically evaluated its most significant items assessment. Attempts perhaps conceptual identify conceptual contribution
quality. Goes beyond mere description to include in the field to evaluate according or chronological to embody existing or derive
degree of analysis and conceptual innovation. to contribution new theory
Typically results in hypothesis or model
Literature review Generic term: published materials that provide May or may not May or may not Typically narrative Analysis may be chronological,
examination of recent or current literature. include comprehensive include quality conceptual, thematic, etc.
Can cover wide range of subjects at various searching assessment
levels of completeness and comprehensiveness.
May include research findings
Mapping review/ Map out and categorize existing literature Completeness of No formal quality May be graphical Characterizes quantity and
systematic map from which to commission further reviews searching determined assessment and tabular quality of literature, perhaps by
and/or primary research by identifying by time/scope study design and other key
gaps in research literature constraints features. May identify need for
primary or secondary research
Meta-analysis Technique that statistically combines the Aims for exhaustive, Quality assessment may Graphical and Numerical analysis of measures
results of quantitative studies to provide a comprehensive searching. determine inclusion/ tabular with of effect assuming absence of
more precise effect of the results May use funnel plot to exclusion and/or narrative commentary heterogeneity
assess completeness sensitivity analyses
Mixed studies Refers to any combination of methods where Requires either very Requires either a generic
Typically both Analysis may characterise both
review/mixed one significant component is a literature sensitive search to retrieve appraisal instrument or
components will be literatures and look for
methods review review (usually systematic). Within a review all studies or separately separate appraisal presented as narrative correlations between
context it refers to a combination of review conceived quantitative processes with and in tables. May also characteristics or use gap analysis
approaches for example combining and qualitative strategies corresponding checklists
employ graphical means to identify aspects absent in one
quantitative with qualitative research or of integrating quantitative literature but missing in the other
outcome with process studies and qualitative studies
Overview Generic term: summary of the [medical] May or may not include May or may not include Synthesis depends on Analysis may be chronological,
literature that attempts to survey the comprehensive searching quality assessment (depends whether systematic or not. conceptual, thematic, etc.
© 2009 The authors

literature and describe its characteristics (depends whether whether systematic Typically narrative but may
systematic overview or not) overview or not) include tabular features
Qualitative systematic Method for integrating or comparing the May employ selective Quality assessment Qualitative, Thematic analysis, may
review/qualitative findings from qualitative studies. It looks for or purposive sampling typically used to narrative synthesis include conceptual models
evidence synthesis ‘themes’ or ‘constructs’ that lie in or across mediate messages not
individual qualitative studies for inclusion/exclusion
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 43
Tipos de revisión caracterizados usando el marco SALSA [9]

94
Table 1 Main review types characterized by methods used

A typology of reviews, Maria J. Grant & Andrew Booth

Methods used (SALSA)

Label Description Search Appraisal Synthesis Analysis

Journal compilation © 2009 Health Libraries Group. Health Information and Libraries Journal, 26, pp.91–108
Critical review Aims to demonstrate writer has extensively Seeks to identify No formal quality Typically narrative, Significant component: seeks to
researched literature and critically evaluated its most significant items assessment. Attempts perhaps conceptual identify conceptual contribution
quality. Goes beyond mere description to include in the field to evaluate according or chronological to embody existing or derive
degree of analysis and conceptual innovation. to contribution new theory
Typically results in hypothesis or model
Literature review Generic term: published materials that provide May or may not May or may not Typically narrative Analysis may be chronological,
examination of recent or current literature. include comprehensive include quality conceptual, thematic, etc.
Can cover wide range of subjects at various searching assessment
levels of completeness and comprehensiveness.
May include research findings
Mapping review/ Map out and categorize existing literature Completeness of No formal quality May be graphical Characterizes quantity and
systematic map from which to commission further reviews searching determined assessment and tabular quality of literature, perhaps by
and/or primary research by identifying by time/scope study design and other key
gaps in research literature constraints features. May identify need for
primary or secondary research
Meta-analysis Technique that statistically combines the Aims for exhaustive, Quality assessment may Graphical and Numerical analysis of measures
results of quantitative studies to provide a comprehensive searching. determine inclusion/ tabular with of effect assuming absence of
more precise effect of the results May use funnel plot to exclusion and/or narrative commentary heterogeneity
assess completeness sensitivity analyses
Mixed studies Refers to any combination of methods where Requires either very Requires either a generic
Typically both Analysis may characterise both
review/mixed one significant component is a literature sensitive search to retrieve appraisal instrument or
components will be literatures and look for
methods review review (usually systematic). Within a review all studies or separately separate appraisal presented as narrative correlations between
context it refers to a combination of review conceived quantitative processes with and in tables. May also characteristics or use gap analysis
approaches for example combining and qualitative strategies corresponding checklists
employ graphical means presentin one
to identify aspects absent
quantitative with qualitative research or of integrating quantitative literature but missing in the other
outcome with process studies and qualitative studies
Overview Generic term: summary of the [medical] May or may not include May or may not include Synthesis depends on Analysis may be chronological,
literature that attempts to survey the comprehensive searching quality assessment (depends whether systematic or not. conceptual, thematic, etc.
© 2009 The authors

literature and describe its characteristics (depends whether whether systematic Typically narrative but may
systematic overview or not) overview or not) include tabular features
Qualitative systematic Method for integrating or comparing the May employ selective Quality assessment Qualitative, Thematic analysis, may
review/qualitative findings from qualitative studies. It looks for or purposive sampling typically used to narrative synthesis include conceptual models
evidence synthesis ‘themes’ or ‘constructs’ that lie in or across mediate messages not
individual qualitative studies for inclusion/exclusion
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 44
PSALSAR [51]
W. Mengist et al. / MethodsX 7 (2020) 100777 3

• Combina PRISMA y SALSA para proponer 6 pasos

Table 1
The frameworks for systematic and meta-analysis studies.

Steps Outcomes Methods

PSALSAR Protocol Defined study scope Only the mountain ecosystem and its various ecosystem services
Framework Search Define the search Searching strings
strategy
Search studies Search databases
Appraisal Selecting studies Defining inclusion and exclusion criteria
Quality assessment of Quality criteria
studies
Synthesis Extract data Extraction template
Categorize the data Categorize the data on the iterative definition and ready it for
further analysis work
Analysis Data analysis Quantitative categories, description, and narrative analysis of the
organized data
Result and discussion Based on the analysis, show the trends, identify gap and result
comparison
Conclusion Deriving conclusion and recommendation
Report Report writing PRISMA methodology
Journal article Summarizing the report result for the larger public
production

Source: Modified from del Amo et al. [6] and Mengist et al. [11]
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 45
Fases de una revisión sistemática [31, 52]
• Planificar la revisión sistemática
• Identificar la necesidad de la revisión
• Formular las preguntas de la investigación
• Definir el protocolo de la revisión
• Validar el protocolo de la revisión
• Hacer la revisión sistemática
• Identificar la investigación relevante
• Seleccionar los estudios primarios
• Evaluar la calidad de los estudios primarios
• Extraer los datos relevantes
• Reportar la revisión sistemática
• Sintetizar los datos extraídos
• Redactar el informe de la revisión
• Validar el informe de la revisión
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 46
Fases de una revisión sistemática

By Jacknunn - Own work, CC BY-SA 4.0,

[Link]

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 47

[Link]
4. Fase de planificación
Identificar la necesidad de la revisión - Cuestiones
previas a la realización de una revisión sistemática

• ¿Es necesaria una revisión sistemática?

Hay que preguntarse qué hipótesis se está probando y cómo se sabe que se
necesita una revisión. ¿Se está seguro que no hay ya una revisión sistemática?
1ª cuestión ¿Quién va a utilizar los resultados de la revisión?, y ¿cómo?

• ¿Se tienen los recursos?

Una revisión sistemática puede ser costosa en términos de tiempo, energía,
dinero y del revisor. ¿Se tienen los recursos? ¿Se sabe lo que podría implicar? ¿Se
tiene el apoyo de información para ayudar en la búsqueda, y los fondos para
2ª cuestión cubrir la obtención de copias de artículos y libros? ¿Se tienen otros revisores para
ayudar con la obtención y la selección de los estudios para la revisión?

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 49

¿Se sigue con la revisión sistemática?
• No tiene sentido hacer una revisión sistemática que ya se haya hecho antes,
salvo que [53]
• Sea evidente que las anteriores revisiones sistemáticas están sesgadas
• Estén significativamente anticuadas, por ejemplo, si se han publicado nuevos
estudios desde que se completó la revisión existente
• Es importante comenzar cualquier nueva revisión mediante la búsqueda
de revisiones sistemáticas existentes
• Si se encuentran varios trabajos de revisión, debe invertirse el tiempo y el
esfuerzo necesario para analizar si los aportes de estas revisiones
requieren o no de un nuevo proceso de revisión sistemática [42]
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 50
Estudio de las revisiones sistemáticas existentes [42]

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 51

Estudio de las revisiones sistemáticas existentes [42]

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 52

Otros aspectos a tener en cuenta para decidir continuar
con la revisión sistemática y qué tipo de revisión hacer
• ¿Cuál es el alcance de la revisión sistemática?

• ¿Qué tiempo se puede invertir?

• ¿Qué beneficios se esperan?

• ¿Dónde se quiere publicar la revisión?

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 53

Formular las preguntas de investigación
• El propósito de una revisión sistemática es identificar las lagunas
de conocimiento y las necesidades de investigación en un campo
o área concreta
• Esto requiere una clara especificación del área del problema y una
revisión crítica de la literatura dentro de ese dominio, con el fin de
presentar una adecuada línea argumental que identifique las
lagunas de conocimientos y las necesidades de investigación que
deben ser abordadas

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 54

Preguntas de investigación
• Al comienzo de la revisión es necesario especificar claramente las
preguntas que esta tiene como objetivo responder
• Aunque las revisiones sistemáticas a menudo tienen como
objetivo responder a preguntas individuales, o probar una sola
hipótesis, a veces las cuestiones estratégicas hacen que el campo
de preguntas sea mucho más amplio y puede ser necesario
trabajar para identificar cuál es la pregunta o preguntas más
probables que será preciso responder

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 55

Preguntas de investigación
• Se debe llevar a cabo un proceso de reflexión previo a comenzar la revisión,
tras el cual viene una redefinición de las cuestiones
• Hay que evitar preguntas en las revisiones sistemáticas que sean muy
generales y con poca profundización en los temas
• Por ello es tan importante el refinamiento de las mismas, para que se
conviertan en preguntas mucho más específicas que engloben esos
matices genéricos
• El objetivo es realizar una revisión sistemática mucho más depurada para
evitar resultados generales que serían fáciles de obtener con una revisión
narrativa de la bibliografía
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 56
Ejemplo: Preguntas de investigación para un mapping [54]

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 57

Ejemplo: Preguntas de investigación para una SLR [54]

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 58

Definir el protocolo de la revisión
• El rigor y la fiabilidad de las revisiones sistemáticas se basan, en gran parte, en la planificación
previa y la documentación de un enfoque metódico para su realización, es decir, en un
protocolo
• Un protocolo de revisión sistemática es importante por varias razones [50]
1. Permite planificar cuidadosamente y, por lo tanto, anticiparse a los posibles problemas
2. Permite documentar explícitamente lo que se ha planeado antes de comenzar su revisión,
permitiendo a otros comparar el protocolo y la revisión completada (es decir, identificar la
información selectiva), replicar los métodos de revisión si se desea, y juzgar la validez de los
métodos planificados
3. Evita la toma de decisiones arbitrarias con respecto a los criterios de inclusión y la extracción
de datos
4. Puede reducir la duplicación de esfuerzos y mejorar la colaboración

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 59

Definición de “Protocolo de revisión sistemática”

En el contexto de las revisiones sistemáticas y los meta-análisis,

un protocolo es un documento que presenta una "hoja de ruta"
científica explícita de una revisión sistemática planificada y no
iniciada. El protocolo detalla el enfoque metodológico y analítico
racional y planificado de la revisión [50]

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 60

Protocolo para realizar una revisión sistemática
• Los pasos principales para llevar a cabo una revisión sistemática se han extraído de la
asistencia sanitaria [55] y se pueden resumir [56]
• Definir los términos de búsqueda
• Identificar las bases de datos y motores de búsqueda, así como revistas que pueden deben
accederse manualmente, y consultar con los términos de búsqueda seleccionados
• Decidir y aplicar, filtros para la inclusión y la exclusión
• Asegurarse de que los artículos resultantes son representativos, repitiendo el proceso de
filtrado
• Se pueden usar variaciones de este protocolo
• Cualquiera que sea el protocolo utilizado, tiene que ser cuidadosamente documentado para
ser transparente
• Otros investigadores deben ser capaces de seguir los mismos procedimientos y obtener los
mismos resultados
• Esto ayudará en gran medida su validez externa
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 61
Ejemplos de las secciones de un protocolo [55]

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 62

Elementos principales a establecer en la definición del
protocolo
• Preguntas de investigación (incluir versión definitiva)
• Marco temporal
• Ámbito de la revisión
• Criterios de inclusión y exclusión
• Criterios de calidad
• Fuentes de datos
• Términos de búsqueda
• Ecuación de búsqueda canónica
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 63
Marco temporal
• El marco temporal debe ajustarse para satisfacer el objetivo
buscado, pero con unas miras hacia la eficiencia del proceso

• A veces se plantea como un criterio de exclusión

• Esta decisión se va a traducir en criterios de restricción a la hora

de ejecutar las búsquedas en las bases de datos seleccionadas

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 64

Ámbito de la revisión
• Descomponer las preguntas de investigación para responder ¿quién?, ¿qué?, y
¿cómo?, puede ayudar a identificar los elementos fundamentales de cada pregunta
de investigación [57]
• Es útil utilizar una estructura formal para centrar la pregunta y así poder
descomponerla en los conceptos que la componen
• Hay varios marcos que se pueden utilizar (como PICO - Population, Intervention,
Comparison, Outcome [58]; SPIDER - Sample, Phenomenon of Interest, Design,
Evaluation, Research type [59]; SPICE - Setting, Perspective, Intervention/Interest,
Comparison, Evaluation [60]; CIMO - Context-Intervention-Mechanisms-Outcomes
[61]), pero el más utilizado es el marco PICOC (Population, Intervention, Comparison,
Outcome, Context) [53]
• El marco PICOC se aplica a cada paso de la revisión sistemática
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 65
 concepts. Various frameworks are available to help you do this, depending on your field of
research (Davies, 2011), but for this chapter we will concentrate on PICOC (Petticrew and
Roberts, 2006) (see Table 5.1).

Ámbito de la revisión Table 5.1 The elements of PICOC

Population Who or what is the problem or situation you are dealing with? In a human population,
for example, which age, sex, socioeconomic or ethnic groups are involved? What are
the technical terms, synonyms, and related terms?
Intervention In what ways are you considering intervening in the situation? What sort of options
OR do you have for tackling the problem? For example, this could be an educational
Exposure intervention such as online tutorials on plagiarism (population = undergraduate
students).
NB: For non-intervention studies you may find it helpful to replace Intervention
(a planned procedure) with Exposure (an unintentional occurrence or happening).
For example, exposure to radio waves from mobile phone transmitters.
Comparison What is the alternative? This is optional. For when you wish to consider, for example,
the effect of two or more interventions, comparing their outcomes possibly in terms of
what they deliver and/or cost. So you may want information on the relative merits of:
buses versus trams for urban congestion;
natural versus chemical methods of agricultural pest control;
surgery versus drugs for an illness.
Outcome(s) How is it measured? This may be more difficult to identify: you have a technical
terminology for your problem and a range of management options, but what do you
want to achieve? This stage does, however, focus your mind on what your desired
outcome(s) might be and how you will assess the impact – what you are going to
measure and how.

Revisiones sistemáticas y meta-análisisContext What is the particular context of your question? Are you looking at specific
en Ciencias Sociales y Humanidades 66
countries/areas/settings?
Ámbito de la revisión
• Population (P) ¿Quién?
• Intervention (I) ¿Qué? ¿Cómo?
• Comparison (C) ¿Con qué comparar?
• Outcomes (O) ¿Qué se busca conseguir/mejorar?
• Context (C) ¿En qué tipo de organización y bajo qué
circunstancias?

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 67

Ejemplo PICOC [32]
Population (P): The target group for the investigation: Software architectures
Intervention (I): specifies the investigation aspects or issues of interest for the researchers:
provide support or analyze HCI / HMI processes
Comparison (C): the aspect of the investigation with which the intervention is being
compared to. No comparison intervention has been planned
Outcomes (O): the effect of the intervention: Software Architectures proposals and real-
world experiences
Context(C): the setting or environment of the investigation: environments related to HCI /
HMI (in the industry, academia, etc.)

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 68

Ejemplo PICOC [62]
Población Intervención Comparación Resultados (Contexto)
Population Intervention Comparison Outcomes (Context)
P I C O (C)
Literatura gris Difusión de tesis a través Tesis que no están en Aumento de visibilidad y Universidad de
científica (Tesis) de repositorios acceso abierto de impacto de las tesis en Salamanca.
institucionales en acceso acceso abierto 2006-2010
abierto
Literatura gris Mandato de acceso abierto Tesis que no estaban Aumento de visibilidad y Universidad de
científica (Tesis) las Instituciones a partir de sujetas a mandato de esas de impacto de las tesis en Salamanca.
una fecha mismas instituciones acceso abierto por 2008-2010
mandato institucional

Repositorios Implementación de Comparación entre varios Los repositorios más Ámbito

institucionales herramientas en los repositorios midiendo la interoperables aumentan internacional
repositorios para lograr la relación entre su visibilidad
interoperabilidad interoperabilidad y grado
de visibilidad

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 69

Ejemplo PICOC [42]
• Population (P): systematic literature reviews and mappings
• Intervention (I): conduct a systematic literature review about software
architecture and model driven engineering in technological ecosystems
• Comparison (C): no comparison
• Outputs (O): the systematic reviews and mappings about technological
ecosystems
• Context (C): contexts related to technological and software ecosystems

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 70

Criterios de inclusión y exclusión
• Después de definir las cuestiones de investigación y los objetivos,
el siguiente paso en una revisión sistemática de la literatura es
definir los criterios de inclusión y exclusión de los estudios
• Es importante definir tanto unos como otros, aunque muchas
veces sean la expresión antagónica de un concepto, pero de esta
manera se puede asignar un criterio de aceptación o de rechazo a
cada artículo del conjunto de datos que se esté manejando

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 71

Criterios de inclusión y exclusión. Ejemplo [54]

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 72

Criterios de inclusión y exclusión. Ejemplo [54]

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 73

Criterios de calidad
• Los estudios que se seleccionen en el proceso de revisión sistemática pueden tener puntos
débiles o defectos
• El objetivo es identificar las carencias con el objeto de decidir si la aportación de cada trabajo
es interesante para la revisión sistemática o no
• Se debe diseñar una lista de verificación para chequear los aspectos relevantes de los
artículos seleccionados
• La lista estará compuesta de una sería de criterios que serán evaluados y puntuados para
cada artículo seleccionado según una métrica definida
• Dependiendo de la puntación de la evaluación, cada artículo se incluiría o se excluiría en la
fase final de la selección
• Los responsables del desarrollo de la revisión sistemática fijarán el punto de corte de los
artículos para su inclusión final en el corpus sobre el que se realizará el análisis de resultados
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 74
 Criterios de calidad. Ejemplo [32]
Cruz-Benito et al.

Table 1
Quality assessment checklist.
Question Score

1. Are the research aims related to software architectures & HCI/HMI clearly specified? Y/N/partial
2. Was the study designed to achieve these aims? Y/N/partial
3. Are data presented on the evaluation of the proposed solution? Y/N/partial
4. Are data presented on the assessment regarding the human part of HCI/HMI? Y/N/partial
5. Is the software architecture clearly described and is its design justified? Y/N/partial
6. Are the devices involved clearly specified? Are their functions within the software architecture justified? Y/N/partial
7. Do the researchers discuss any problems with the software architecture described? Y/N/partial
8. Is the solution based on a software architecture tested in a real context? Y/N/partial
9. Are the links between data, interpretation and conclusions made clear? Y/N/partial
10. Are all research questions answered adequately? Y/N/partial

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 75

Fuentes de datos
• Se deben seleccionar y justificar las fuentes de datos en las que se va a proceder a buscar las
fuentes primarias de la revisión sistemática
• Se debe evaluar la idoneidad de la fuente de datos con respecto a la disciplina y el tener
acceso online a su consulta
• No hay que limitarse solo a las bases de datos más grandes, pero hay que ser conscientes de
los objetivos buscados y del esfuerzo que se va a tener que realizar
• Por ejemplo, no es lo mismo estar realizando una revisión sistemática para una tesis doctoral que
para conocer el estado actual de una línea de investigación en los últimos años
• Determinar si se van a incluir fuentes de literatura gris
• Según las directrices de AMSTAR, hay que buscar en al menos dos fuentes de datos [63],
pero a medida que se aumenta el número de fuentes de datos buscadas, se obtiene mucho
rendimiento y resultados más precisos y completos
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 76
Fuentes de datos • WoS
• Scopus
• Google Scholar
• IEEEXplore
ACM
Algunas de las fuentes de •
• Springer
datos más usadas (no es • ScienceDirect
un listado que pretenda • Emerald Insight
• Compendex
ser completo) • ERIC
• Pubmed
• LISA
• LISTA
• Dialnet
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades
• etc. 77
Términos de búsqueda
• Antes de formular una ecuación de búsqueda se deben establecer, de manera clara y
precisa, los términos de búsqueda para, a continuación, establecer las relaciones
lógicas que se darán entre ellos
• Se debe tener en cuenta el análisis PICOC identificarlos
• Hay que organizar los términos siguiendo la estrategia de búsqueda que se haya
decidido
• Se pueden definir sinónimos
• Si se soportan diferentes idiomas hay que establecer la ontología de equivalencias
entre los idiomas a considerar
• Se pueden utilizar caracteres comodín
• Hay ocasiones en que los términos no son sencillos de seleccionar y hay que recurrir a
otro tipo de análisis para determinarlos [64-65]
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 78
Términos de búsqueda. Ejemplo [66]
Table 1. Initial Logic Grid Aligned with the PICO Elements of the Review Question

Population Intervention Comparison intervention Outcome measures

Dementia Animal-assisted therapy Music therapy Aggressive behavior

Table 2. Logic Grid with Identified Keywords Added

Population Intervention Comparison intervention Outcome measures

Dementia Animal-assisted therapy Music therapy Aggression

Alzheimer Animal-assisted activities Music Neuropsychiatric
Huntington Animal-assisted Singing Apathy inventory
Kluver interventions Sing Cornell scale
Lewy Animal therapy Auditory stimulation Cohen Mansfield
Pet therapy BEHAVE-AD
Dog therapy CERAD-BRSD
Dog-assisted therapy Behavior
Canine-assisted therapy Behaviour
Pet-facilitated therapy
Aquarium
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 79
Ecuación de búsqueda canónica
• Una vez que se hayan identificado los términos para cada concepto dentro de la
estrategia de búsqueda, se debe plantear una o varias ecuaciones canónicas
utilizando la lógica booleana para combinar los términos adecuadamente
• Estas ecuaciones canónicas se adaptarán en la etapa de realización de la revisión a
cada una de las fuentes de datos seleccionada
• La lógica booleana permite combinar los términos de búsqueda utilizando los
operadores lógicos AND, OR, NOT para diseñar la estrategia de búsqueda
• Hart explica la lógica booleana como una forma de "sumar, restar y multiplicar los
términos de búsqueda para ampliar (sumar), reducir (restar) o incluir términos
(multiplicar o combinar) en la búsqueda” [67]

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 80

Ecuación de búsqueda canónica
• Una ecuación de búsqueda eficaz sería la formada por descriptores y sus
correspondientes calificadores combinados entre sí mediante los operadores
booleanos más apropiados [8]
• Para unir conceptos relacionados se utilizará el operador OR (operador de unión)
• Para relacionar términos que hacen referencia a conceptos distintos en un mismo
documento se utilizará AND (operador de intersección)
• Para eliminar documentos que contenga el término no deseado se empleará NOT
(operador de exclusión)
• A la hora de formular ecuaciones de búsqueda más complejas, en las que se
combinen varios operadores, se utilizarán paréntesis para indicar qué operación se
debe efectuar en primer lugar
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 81
of the works, is one of the most relevant in the research area of computer science and finally, but extremely important, the database is
available for us (through our institution, etc.).
Sources: The search was conducted in the following electronic databases: Web of Science, Scopus, IEEE Xplore, ACM Digital
Ecuación de búsqueda canónica. Ejemplo
Library and Springer Link [32]
2.4. Query string

To create the search string, we identified the main terms from the research questions, the PICOC and the possible alternative
pellings and synonyms. Based on the identified terms, and using logical operators for the search, the query designed was:
(“software architectur*” AND ((HCI OR “Human-Computer Interaction” OR “Human Computer Interaction”) OR (HMI OR “Human-
Machine Interaction” OR “Human Machine Interaction”)))
As additional details, the search was not restricted by publication date or other filters. The unique filter applied was in the
Springer Link database, where we avoided all “Preview only” papers, as these papers were not accessible for us.

2.5. Review process

After the search, the selection of papers to be used for the literature review was performed following these steps:

1. All the raw-results were collected in a GIT repository (Cruz-Benito, 2017) and a spreadsheet ([Link] removing
all the duplicates across the databases.
2. The resultant papers were analyzed based on the title and abstract and the inclusion/exclusion criteria. In those cases where the
title and abstract were not sufficient to decide, the authors quickly assessed the entire content of the paper. The resultant can-
didate papers were added to another sheet of the spreadsheet document ([Link]
3. The Revisiones
paperssistemáticas y meta-análisis en Ciencias Sociales y Humanidades 82
were read in detail and analyzed following the previously-posed research questions. The selected papers passed a
[Link]
5. Fase de realización
Fases de la realización de la revisión [49] D. Moher et al. / International Journal of Surgery 8 (2010) 336e3

8. Discussion

The quality of re
optimal.22e27 In a re
authors reported as
though there is over
and its impact on
when the possibility
guarantee that system
it appropriately.30 A
assessment does not
reporting an assessm
a marker of the thor
review.
Several approache
reviews on a broader
reviews are now co
diagnostic32 or progn
35
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades policy making.84 Th
Fases de la realización de la revisión
1. Fase de identificación (identification)
• Ejecutar las consultas y obtener los registros
2. Fase de eliminación (screening)
• Eliminar duplicados
• Revisar los títulos y resúmenes (aplicando los criterios de inclusión y exclusión)
3. Fase de selección (eligiblity)
• Revisar el texto completo y evaluar la calidad (aplicando también los criterios de inclusión y
exclusión)
• Añadir (si es necesario) documentos citados en sus resultados (siempre que cumplan los
criterios de inclusión y exclusión y los criterios de calidad)
4. Fase de inclusión
• Definir el corpus final de estudios seleccionados para el estudio cualitativo y/o para el
estudio cuantitativo
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 85
Identificar la investigación relevante
• Se implementa la estrategia de búsqueda planificada
• Buscar en todas las fuentes de datos seleccionadas adaptando la ecuación canónica a
cada lenguaje/interfaz de búsqueda propia de cada fuente de datos
• Las consultas en las diferentes fuentes de datos debe intentarse que sean
equivalentes, de lo contrario los resultados obtenidos podrían ser no comparables
• Cada adaptación de la ecuación canónica para cada fuente de datos debe quedar
documentada
• Cuando se utiliza una interfaz de búsqueda, muchos sistemas traducen la búsqueda a
una ecuación que es la que se debe recoger en la documentación del proceso

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 86

Interfaz de búsqueda de WoS

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 87

Nueva interfaz de búsqueda de WoS (beta)

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 88

Interfaz de búsqueda de Scopus

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 89

Interfaz de búsqueda avanzada de Google Scholar

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 90

Interfaz de búsqueda
avanzada de ScienceDirect

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 91

Interfaz de búsqueda
avanzada de Springer Link

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 92

Interfaz de búsqueda avanzada de IEEE Xplore

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 93

Interfaz de búsqueda
avanzada de ACM Digital
Library

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 94

Interfaz de búsqueda avanzada de Dialnet

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 95

Interfaz de búsqueda de ERIC

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 96

Interfaz de búsqueda de ERIC – Búsqueda avanzada

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 97

Consulta. Ejemplo [54]
• Web of Science

TS=("software architecture" AND (HCI OR "Human-Computer

Interaction") AND analy*)

• Scopus

TITLE-ABS-KEY ("software architecture" AND (HCI OR "Human-

Computer Interaction") AND analysis)
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 98
Consulta. Ejemplo [62]
WEB OF SCIENCE (WOS)
Resultados Búsqueda
#1 8 Título: ("Open Access" OR “acceso abierto) AND (bibliometric* OR almetric* OR informetric* OR
scientometric* OR webometrics) =1998-2015. Inglés, español, francés.

#2 1 Título: Impact* AND ("Open Access" OR “acceso abierto) AND (bibliometric* OR almetric* OR
informetric* OR scientometric* OR webometrics) =1998-2015. Inglés, español, francés.

#3 111 Tema: ("Open Access" OR “acceso abierto) AND (bibliometric* OR almetric* OR informetric* OR
scientometric* OR webometrics) =1998-2015. Inglés, español, francés.

#4 70 Tema: Impact* AND ("Open Access" OR “acceso abierto) AND (bibliometric* OR almetric* OR
informetric* OR scientometric* OR webometrics) =1998-2015. Inglés, español, francés.

#5 111 #1 OR #2 OR #3 OR #4

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 99

Consulta. Ejemplo [42]

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 100

Operadores de proximidad en las consultas
• Algunas fuentes de datos permiten utilizar operadores de
proximidad
• Se intercalan entre los descriptores para establecer entre ellos
una relación de proximidad, es decir, permiten concretar la
posición de dos o más palabras en la ecuación de búsqueda
• Cada fuente de datos tiene sus propios operadores de proximidad,
existiendo pequeñas diferencias entre unas y otras, por lo que
siempre es aconsejable consultar la ayuda que ofrecen

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 101

Operadores de proximidad en WoS
• NEAR/x
• Se emplea para encontrar registros en los que los términos unidos por el operador
están separados entre sí por un número máximo de x palabras
• Si se omite el número de palabras (/x), se tomará por defecto un valor de 15 palabras
• El valor 0 indica que las palabras relacionadas con el operador NEAR deben ir
seguidas, es decir, ser adyacentes: monetary NEAR/0 union
• Ejemplo: TOPIC1 NEAR/5 TOPIC2
• No puede utilizar el operador AND en consultas que incluyan el operador NEAR. Por
ejemplo, la siguiente consulta no es válida: TS = (Germany NEAR/10 (monetary AND
union))
• NEAR se puede usar para encontrar una palabra o frase separada X número de
palabras de una frase: TS = (Germany NEAR/10 "monetary union")
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 102
Operadores de proximidad en WoS
• SAME
• En las búsquedas en el campo dirección se utiliza SAME para restringir la
búsqueda a los términos que aparecen en la misma dirección dentro de un
registro completo
• Se debe usar paréntesis para agrupar los términos de la dirección
• Ejemplo: AD=(McGill Univ SAME Quebec SAME Canada) busca registros
en los que McGill University aparece en el campo Direcciones de un
registro completo junto con "Quebec" y "Canada”
• SAME funciona exactamente como AND cuando se usa en otros campos
(por ejemplo, en los campos Tema y Título)
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 103
Precedencia de operadores en WoS
1. NEAR/x
2. SAME
3. NOT
4. AND
5. OR

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 104

Ejemplo de ecuación de búsqueda usando NEAR [68]
((meta-dashboard*) OR
((dashboard*) NEAR/10 (custom* OR personal*
OR adapt* OR flexib* OR config* OR driven OR
generat* OR compos* OR template* OR context-
aware OR select*)) OR
((dashboard*) AND ((heterogeneous OR different
OR diverse OR dynamic) NEAR/0
("requirement*" OR "stakeholder*" OR "user*" OR
"need*" OR "task*" OR “necess*”)))) AND NOT
(car OR vehicle OR automo*)

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 105

Operadores de proximidad en Scopus
• Pre/x
• Encuentra resultados en los que una palabra precede a la otra x
palabras
• El orden importa
• Ejemplo: TITLE-ABS-KEY ( dashboard PRE/3 personalization )
• W/x
• Indica la distancia entre las dos palabras, pero el orden de las mismas
no importa
• Ejemplo: TITLE-ABS-KEY ( dashboard W/3 personalization )
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 106
Operadores de proximidad en Scopus
• Reglas generales para los operadores de proximidad en Scopus
• Se pueden usar los caracteres comodín ? y *
• Ejemplo: TITLE-ABS-KEY(ship* PRE/0 channel)
• Se puede utilizar más de un operador de proximidad en secuencia para conectar varios
términos, pero no se pueden mezclar tipos de operadores ni incluir valores diferentes para
”x" dentro de la misma expresión
• Ejemplo: TITLE-ABS-KEY(bay PRE/6 ship* PRE/6 channel) - válido
• Ejemplo: TITLE-ABS-KEY(bay PRE/6 ship* PRE/0 channel) - inválido
• Ejemplo: TITLE-ABS-KEY(bay W/6 ship* PRE/6 channel) - inválido
• Se pueden incluir múltiples y diferentes operadores, así como diferentes valores para ”x" en
la misma búsqueda, pero no dentro de la misma expresión
• Ejemplo: TITLE-ABS-KEY((b?y W/6 ship*) AND (ship* PRE/0 channel) AND NOT
(channel W/0 isl*))
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 107
Precedencia de operadores en Scopus
1. OR
2. W/x, Pre/x
3. AND
4. AND NOT

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 108

La ecuación de búsqueda se completa con los filtros
que permiten las bases de datos

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 109

 La ecuación de
búsqueda se
completa con los
filtros que permiten
las bases de datos

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 110

La ecuación de búsqueda
se completa con los filtros
que permiten las bases de
datos

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 111

 La ecuación de
búsqueda se
completa con los
filtros que permiten
las bases de datos

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 112

Nueva interfaz de consulta avanzada de WoS

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 113

Nueva interfaz de consulta avanzada de WoS

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 114

Nueva interfaz de consulta avanzada de WoS

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 115

Nueva interfaz de consulta avanzada de WoS

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 116

Nueva interfaz de consulta avanzada de WoS

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 117

Nueva interfaz de consulta avanzada de WoS

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 118

Nueva interfaz de consulta avanzada de WoS

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 119

Nueva interfaz de consulta avanzada de WoS

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 120

Nueva interfaz de consulta avanzada de WoS

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 121

Nueva interfaz de
consulta avanzada de
WoS

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 122

Nueva interfaz de
consulta avanzada de
WoS

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 123

Seleccionar los estudios primarios
• Se eliminan los registros duplicados procedentes de las diferentes
fuentes de datos consultadas
• Se tiene que registrar el número de duplicados que se eliminan
• Se revisan los títulos y resúmenes de los documentos que han pasado el
primer filtro (aplicando los criterios de inclusión y exclusión)
• Se debería registrar el criterio de exclusión por el que se descarta cada
uno de los documentos que no pasa el filtro

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 124

Evaluar la calidad de los estudios primarios
• Se revisa el texto completo de los documentos que han pasado el filtro anterior
• Se aplican los criterios de inclusión y exclusión
• Se evalúa la calidad de cada documento según la lista de verificación que se ha definido
• Se tienen que registrar los documentos que se eliminan por no cumplir los criterios de
inclusión
• Se tienen que registrar los documentos que se eliminan por no llegar al mínimo de calidad
requerido [69]
• Dependiendo de la puntación de la evaluación, cada artículo se incluiría o se excluiría en la fase
final
• El investigador debe fijar el punto de corte
• Se pueden añadir documentos citados en sus resultados (siempre que cumplan los criterios
de inclusión y exclusión y los criterios de calidad)
• Se tiene que registrar el número de documentos añadidos por esta vía
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 125
Cómo leer un artículo
• Se puede seguir la aproximación de tres pasadas [70]. En cada una se decide si se continua leyendo
• Primera pasada - Da una idea general
• Leer con detalle título, resumen e introducción
• Identificar la estructura interna del artículo (secciones y subsecciones) e ignorar el resto
• Leer las conclusiones
• Echar un vistazo a las referencias y tomar nota mental de las que ya se conocen, se esperan, etc.
• Segunda pasada – Permite captar el contenido del documento, pero no sus detalles
• Mirar atentamente las figuras, gráficos
• Marcar las referencias que no se conocen
• Tercera pasada – Permite entender el artículo en profundidad
• Lectura del texto completo buscando entender los elementos clave

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 126

 Documentar el flujo de la revisión

• Se recomienda utilizar un
diagrama de flujo PRISMA [49],
pero también existen otras
posibilidades

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 127

Diagrama de flujo de la
revisión. Ejemplo [71]

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 128

Diagrama de flujo de la
revisión. Ejemplo [72]

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 129

Diagrama de flujo de la revisión. Ejemplo [73]
L.P.S. Dias et al.

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 130

Fig. 1. Steps of filter process.
Diagrama de flujo de la
revisión. Ejemplo [51]

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 131

Extraer los datos relevantes
• De cada artículo seleccionado se deben extraer los datos
relevantes
• Metadatos del artículo, se recomienda utilizar un gestor de
referencias bibliográficos
• Datos del contenido relacionado con las preguntas de
investigación
• En esta etapa de extracción de datos, los elementos específicos
que deben recogerse varían para cada trabajo y es necesario
guiarse por las preguntas y objetivos de investigación
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 132
Extraer dados cuantitativos
• Este proceso permite al revisor examinar qué elementos de los datos están
presentes en cada informe de estudio individual
• Sin herramientas formales para extraer y resumir los resultados, se debe
confiar en una capacidad extraordinaria para hacer malabarismos mentales
con las relaciones entre muchas variables. Una forma sistemática de
explorar estas relaciones facilita la detección y la comprensión de estas [74]
• La extracción de datos puede realizarse al mismo tiempo que la evaluación
de la calidad o por separado, antes o después de la evaluación general de la
calidad [75]
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 133
Posibles elementos a incluir en un formulario de
extracción de datos [57]
• Elegibilidad: declaración explícita de los criterios de inclusión y exclusión con la
oportunidad de indicar si un estudio debe incluirse en la revisión o no
• Datos descriptivos: información sobre las características del estudio, incluyendo el
entorno y la población
• Datos de evaluación de la calidad: información sobre la calidad del estudio. La
documentación puede incluir una lista de comprobación formal
• Resultados: información sobre los resultados del estudio en forma de datos que se
utilizarán en la revisión. Los datos pueden estar en un formato "crudo" tomados
directamente del documento y/o en un formato uniforme. Lo ideal es que estén en
ambas formas para indicar la variación de los métodos, pero también para poder
comprobar su exactitud
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 134
Trazabilidad
• Se deben proporcionar explicaciones completas sobre cómo se ha
llevado a cabo el proceso
• Se debe incluir los documentos revisados en cada fase, se debe
especificar el criterio de inclusión/exclusión utilizar para
seleccionar/rechazar el documentos en la revisión sistemática
• Si no se proporcionan estas explicaciones, quien revise un artículo o
quien dirija una tesis, por ejemplo, no podrá confiar en la investigación
• La mayor parte de esta información no puede incluirse en un artículo o
documento académico
• Demasiada extensión y fatiga visual (en el caso de tablas muy grandes)
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 135
Soluciones para garantizar la trazabilidad
• Utilizar hojas de cálculo de Google
• [Link]
EhgyptYqZh1C8eaYA/edit#gid=0
• Utilizar sitios web
• [Link]
interoperability-a-systematic-mapping
• Repositorios GIT
• [Link]
• Utilizar herramientas
• Parsifal [Link]
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 136
spellings and synonyms. Based on the identified terms, and using logical operators for the search, the query designed was:
(“software architectur*” AND ((HCI OR “Human-Computer Interaction” OR “Human Computer Interaction”) OR (HMI OR “Human-
Machine Interaction” OR “Human Machine Interaction”)))

Trazabilidad. Ejemplo [32]

As additional details, the search was not restricted by publication date or other filters. The unique filter applied was in the
Springer Link database, where we avoided all “Preview only” papers, as these papers were not accessible for us.

2.5. Review process

After the search, the selection of papers to be used for the literature review was performed following these steps:

1. All the raw-results were collected in a GIT repository (Cruz-Benito, 2017) and a spreadsheet ([Link] removing
all the duplicates across the databases.
2. The resultant papers were analyzed based on the title and abstract and the inclusion/exclusion criteria. In those cases where the
title and abstract were not sufficient to decide, the authors quickly assessed the entire content of the paper. The resultant can-
didate papers were added to another sheet of the spreadsheet document ([Link]
3. The papers were read in detail and analyzed following the previously-posed research questions. The selected papers passed a
quality assessment checklist (see Table 1), and the information was collected in another spreadsheet ([Link]
Besides the papers selected in this manner, the authors also considered papers collected within the references of those that
potentially could be interesting for the review process. It raised another three papers to be included in the review.

Following these steps, the following results were obtained (Fig. 1):

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 137

[Link]

6. Fase de informe
 08_Booth_et al_2e_Ch_08.indd 180
Sintetizar los datos extraídos [57] Table 8.3 Approaches to synthesis in different types of reviews

Type of Approaches used to

• Existen varias opciones review

Scoping
synthesis

Coding
Application

Descriptive coding was applied to include study features such as design,

Revi

A sco

para llevar a la síntesis

review Narrative synthesis country of origin, type of behaviour targeted, characteristics of population evide
and type of incentive used. Outcome studies were coded in greater depth. to en
Tabular presentation and o
Paragraphs described the features of studies for each variable (e.g. types of
youn

El enfoque se deriva de la
intervention and incentive).
• Tables complemented narrative synthesis with frequencies and percentages
2005

of each type.

naturaleza de la revisión y Mapping

review
Keywording
Mapping studies not
EPPI-Centre core keywording strategy used to classify studies according to a
range of criteria, including bibliographic details (how the study was identified
A sys
appr
and whether it has been published), and contextual details (the language in teach

de sus objetivos
synthesised because they
were ‘disparate in their focus’ which the study was written/published and the country where the study was respo
conducted). Key aspects of the study also coded, such as topic focus of study, train
and information about the subjects of the study. Math
Mapping stage of review describes studies found to be relevant, gives
overview of the field of study, and enables reviewers to focus on particular
areas of map. Brief commentary given on each study with emphasis on
conclusions not methods.
Meta- Data extraction Extracted data in a standardised way: weights in pounds (lbs) transformed A me
analysis Translation into common into kilograms (kg) and weeks transformed into months. Attempted contact in fir
metrics with authors to obtain missing information. Assessed each study using a is Fre
modified version of the Ottawa-Newcastle Scale. (Vad
Computation of missing values
Systematic Categorisation Articles categorised by type of publication. Data from intervention studies A sys
review Data extraction included study design, sample and intervention characteristics, and data work
collection methods and measures. Studies assessed using checklist. Narrative alcoh
Quality assessment
description and tabulation of study features and of methodological adequacy. (Web
Narrative synthesis
Tabular presentation
Meta-analysis not possible
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 139
2/17/2016

because of variability of studies.

Redactar el informe de revisión
• La redacción del informe de la revisión sistemática debe incluir la
descripción y la presentación de los métodos seguidos, así como y los
resultados obtenidos a partir de la bibliografía seleccionada
• Esta fase puede constar de dos pasos [76]
• Descripción detallada
• Presentación pública en formato de artículo académico

• Por tanto, va a depender del tipo de documento en el que se vayan a

presentar los resultados

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 140

Cómo orientar la redacción del informe
• En un documento académico, se puede tener una sección de contextualización del estado de
la cuestión basada en los textos más fundamentales, una sección de mapping, una sección de
revisión sistemática y una sección de discusión de los resultados obtenidos como respuestas
a las preguntas de investigación
• Cuando se enfoca a un artículo científico, normalmente la revisión sistemática completa es
muy difícil de incorporar de forma íntegra (salvo que sea muy concreta y tenga un tamaño
reducido) por motivos de extensión y habrá que seleccionar aquellas partes que sean más
adecuadas para el objetivo del artículo
• Los mappings y SLR también se pueden realizar de forma independiente, lo que daría lugar a
diferentes trabajos más centrados en objetivos específicos y que suelen ser de mayor interés
para revistas y conferencias
• Se deben usar gráficos, tablas y explicaciones visuales, pero debe haber siempre una sección
de discusión de los resultados donde se ponga en valor las aportaciones del estudio
sistemático
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 141
 Estructura del apartado del Estado de la Cuestión en un
trabajo académico [71, 72, 77, 78]
Conocimiento Apartados/Capítulos de
Fuentes generales
de base contextualización

Mapping
Fuentes de
Fuentes específicas
referencia de valor
SLR
Conocimiento
específico,
Síntesis crítica del
elaborado y de
Estado de la Cuestión
alto valor para la
investigación
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 142
Gráficos
• Los enfoques gráficos pueden contribuir de forma importante a la síntesis al ayudar a
identificar patrones
• Tienen un papel especial a la hora de ayudar a visualizar la relación de las partes con el
conjunto
• También pueden utilizarse para establecer vínculos entre distintas características de una
revisión, por ejemplo, para representar un vínculo entre las características del estudio y los
resultados
• La creatividad y el análisis crítico de los datos y su visualización son elementos clave para la
comparación de datos y la identificación de patrones y temas importantes y precisos [79]
• En esta categoría se encuentran las representación gráficas de datos, mapas conceptuales,
modelos lógicos, mapas, etc.

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 143

Gráficos. Ejemplo [54]

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 144

Gráficos. Ejemplo [71]
Resultado completo en la
extracción de la base de
datos

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 145

 Gráficos. Ejemplo [72]
Tipología de la literatura
Journal article Conference Book Chapter Other
2% 1%

9%

88%

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 146

Gráficos. Ejemplo [80]

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 147

Tablas
• Además de la síntesis narrativa, los estudios pueden describirse
mediante tablas
• Dado que se utilizan las tablas para describir los estudios, no para
analizarlos, es útil para todos los tipos de estudios
• Se pueden usar tablas para describir las características de la
población, la intervención, el comparador y el resultado (medidas),
las características del estudio (por ejemplo, el diseño del estudio)

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 148

 J. Cruz-Benito et al.
Tablas. Ejemplo [32]
Table 2
Summary of review findings on the main interfaces/systems presented in HCI papers.
Reference Graphical User Laser Touch Camera Microphone BCIs (Brain- Motion Mouse, Force pressure Smartphone/mobile Gaze Wearables
Interface Pointer display/ Computer tracking Keyboard & sensors & devices/tablet trackers
interface interface) sensors Joystick Haptics

Vega-Barbas et al. (2015) X

Chaczko et al. (2015) X X X
Mackin et al. (2012) X X
Biel et al. (2010) X
Jacquet et al. (2009) X X X X X X
Dimakis et al. (2009) X X X X
Seffah et al. (2008) X
Capilla et al. (2014) X X
Tiefenbacher et al. X X
(2014)
Calandra et al. (2013) X X X X
Caruso et al. (2013) X X X X
Pittarello (2011) X X
Folmer and Bosch (2008)
Jacquet et al. (2007) X
Marsic and X X X X X X X
Dorohonceanu
(2003)
Nigay and Coutaz (1995) X X
Bass et al. (2001)
Jalaliniya et al. (2015) X X X
Wang and Canedo X X
(2014)
König et al. (2010) X X X X
Olmedo et al. (2015) X X X
de Alencar et al. (2014) X
Rego et al. (2014) X X X X X X
Malandrino et al. (2010) X
Bongartz et al. (2012) X X X X X
Sutcliffe et al. (2011) X

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 149

 Tablas. Ejemplo [54]

[Link]

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 150

 benefits of applying PD&R and active methodologies
The classification of the studies by topics can be seen are the possibility of facilitating accessing STEAM

Tablas. Ejemplo
in Table 1. It should be noted that a paper can be in- Education in contexts with very specific features and
cluded in more than one topic. [81] even integrating collectives with special needs or those

TABLE 1 Studies classification by topic about the application of PD&R in STEAM

No. of
Topic References papers
1: Studies focused on describing the application [11,36,49,79,81,84,104,112] 8
of PD&R in STEAM Education
2: Studies devoted to describing the application [11,12,20,30,35–37,44,48,52,57,61,64,65,70,73,74,76,78,103,104,107,111] 23
of PD&R as a way to foster STEAM
disciplines
3: Studies focused on the development of certain [14,16,22,31,42,44,51,57,58,63,70,76,86,92,105,107,109] 17
competencies in the context of STEAM
Education
4: Studies that describe the application of [10,20,21,24,26,30,38,52,56,58,66,85–87,90,93,96,97,102] 19
different tools and techniques in STEAM
Education

Abbreviations: PD&R, physical devices and robotics; STEAM, science, technology, engineering, arts, and mathematics.

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 151

 explored. PD&R is applied but also where it is applied. In this
We should point out that the most popular devices sense, it is interesting to know the educational level
were LEGO in different varieties such as LEGO NXT or where the experiments described by the papers were
LEGO MINDSTORM [35,38,66,70,86,103,107], and also, carried out. Section D of Table 2 classifies the different

Tablas. Ejemplo [81]

Arduino [10,42,85,92,93,96]. papers into educational levels. We should point out that

TABLE 2 Distribution of selected studies for MQ2, MQ3, MQ4, and MQ5

No. of
Description References studies
Section A—Associated benefits
Technology [21,35,51,52,61,76,78,79,81,85–87,93,97,109] 15
Methodologies [10,11,20,21,24,26,30,31,37,38,44,48,49,51,61,64,65,73,74,76,81,85,87,90,93,104,109,111,112] 29
Competencies [14,16,20,22,30,31,42,57,58,63,64,66,70,84,92,96,97,102] 18
acquisition
Application Contexts [12,36,42,48,58,70,79,81,84,85,87,103,105] 13
Section B—Tool employed
Robotics [12,16,24,31,35–37,48,49,52,56–58,61,63,70,73,76,78,81,84,86,87,93,97,103,109,112] 28
Physical devices [10,14,21,38,42,44,51,65,74,90,92,96,102,107] 14
Both [11,20,22,26,30,64,66,79,85,104,105,111] 12
Section C—Methodology
PBL [11,14,42,48,51,52,57,76,79,92,93,105,107,112] 14
PrBL [10,11,22,24,30,31,35,36,38,44,56,58,61,64,65,73,74,78,81,84,85,87,90,102,103,107,109,111,112] 29
ChBL [16,20,21,26,37,49,70,96,97] 9
Other [12,66,86] 3
Section D—Educational level
Elementary school [57,81,86,93] 4
Middle school [11,12,16,20,21,24,26,30,31,42,48,49,51,52,57,65,66,78,79,81,85,90,92,96,97,103,104,107,109,112] 30
High school [10,44,52,58,61,79,81,84] 8
Higher education [35,36,38,56,63,64,70,73,74,76] 10
Not specified [14,22,37,87,102,105,111] 7
Revisiones sistemáticas y meta-análisis en Ciencias Sociales
Abbreviations: y Humanidades
ChBL, challange‐based learning; MP, mapping question; PBL, problem‐based learning; PrBL, problem‐based learning. 152
[Link]
7. Meta-análisis
Introducción al meta-análisis
• El meta-análisis estadístico implica la agregación de una media ponderada de los resultados
de los estudios individuales para calcular el tamaño del efecto global de una intervención [82]
• Un meta-análisis produce una estadística global (junto con su intervalo de confianza) que
resume la eficacia de una intervención experimental comparada con una intervención de
comparación [83]
• Conceptualmente, el meta-análisis combina los resultados de dos o más estudios similares
sobre una intervención particular, siempre que se hayan medido las mismas variables de
resultado [84]
• Un paso importante en una revisión sistemática es la consideración reflexiva de si es
apropiado combinar los resultados numéricos de todos, o quizás de algunos, de los estudios
• El meta-análisis puede ser eficaz en disciplinas en las que se dispone de datos cuantitativos
adecuados y comparables procedentes de múltiples estudios [82]
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 154
Ventajas del meta-análisis [83]
• Mejorar la precisión. Muchos estudios son demasiado pequeños para aportar pruebas
convincentes sobre los efectos de la intervención de forma aislada. La estimación suele
mejorar cuando se basa en más información
• Para responder a preguntas no planteadas por los estudios individuales. Los estudios
primarios suelen incluir un tipo específico de participantes e intervenciones explícitamente
definidas. Una selección de estudios en los que estas características difieren puede permitir la
investigación de la consistencia del efecto en una gama más amplia de poblaciones e
intervenciones. También puede, si es pertinente, permitir que se investiguen las razones de
las diferencias en las estimaciones del efecto
• Resolver las controversias derivadas de estudios aparentemente contradictorios o
generar nuevas hipótesis. La síntesis estadística de los resultados permite evaluar
formalmente el grado de conflicto y explorar y cuantificar las razones de los diferentes
resultados
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 155
Principios del meta-análisis [83]
• El meta-análisis suele ser un proceso de dos etapas
1. Se calcula una estadística de resumen para cada estudio, con el fin de describir el
efecto observado de la intervención de la misma manera para cada estudio
2. Una estimación del efecto de la intervención resumida (combinada) se calcula como
una media ponderada de los efectos de la intervención estimados en los estudios
individuales. Una media ponderada se define como

donde Yi es el efecto de la intervención estimado en el i-ésimo estudio, Wi es el

peso dado al i-ésimo estudio, y la suma es para todos los estudios

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 156

Principios del meta-análisis [84]
• La combinación de los resultados tiene en cuenta tanto la variabilidad
en un estudio como entre los estudios con el objeto de mejorar la
validez de las conclusiones
• Esto significa que si hay mucha variación entre los resultados de los
estudios incluidos (heterogeneidad) podría no ser apropiado
combinarlos estadísticamente
• En este caso, se debería presentar únicamente los resultados (puede
ser útil presentarlos de forma gráfica, pero sin combinarlos) y las
características de los estudios individuales (en forma de tablas)
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 157
Principios del meta-análisis [83]
• La combinación de las estimaciones del efecto de la intervención entre
los estudios puede incorporar opcionalmente un supuesto de que los
estudios no están estimando todos el mismo efecto de la intervención,
sino que estiman efectos de la intervención que siguen una distribución
entre los estudios
• Esta es la base de un meta-análisis de efectos aleatorios
• Alternativamente, si se asume que cada estudio está estimando
exactamente la misma cantidad, entonces se realiza un meta-análisis de
efectos fijos
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 158
Principios del meta-análisis [84]
• El modelo de efectos fijos asume que solo hay una fuente de variabilidad en
los resultados (la del estudio), mientras que el modelo de efectos aleatorios
introduce una segunda fuente de variación entre los estudios
• La consecuencia práctica de esto es que el modelo de efectos aleatorios
suele producir estimaciones más conservadoras (intervalos de confianza más
amplios) del efecto combinado
• Emplear uno u otro modelo dependerá del juicio que se realice sobre las
similitudes y diferencias de los estudios a combinar, aunque normalmente se
suele emplear los dos
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 159
Principios del meta-análisis [84]
• La heterogeneidad de los estudios se refiere al hecho de que, una
vez ponderados, los resultados de los estudios individuales (el
efecto de la intervención) difieren entre sí más de lo que cabría
esperar por el azar
• El estadístico heterogeneidad I2 indica la proporción de la
variabilidad observada en el efecto de la intervención (entre
estudios) que se debe a heterogeneidad entre los estudios y no al
azar. Se suele considerar que, si es del 25%, hay poca
heterogenidad; del 50%, moderada, y del 75%, alta [85]
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 160
Principios del meta-análisis [83]
• El error estándar del resumen del efecto de la intervención puede utilizarse
para derivar un intervalo de confianza, que comunica la precisión (o
incertidumbre) de la estimación resumida; y para derivar un valor P, que
comunica la fuerza de la evidencia contra la hipótesis nula de ausencia de
efecto de la intervención
• El problema de la falta de datos es una de las numerosas consideraciones
prácticas que deben tenerse en cuenta al realizar un meta-análisis. En
particular, se deben considerar las implicaciones de la falta de datos de
resultados de los participantes individuales (debido a pérdidas de
seguimiento o exclusiones del análisis)
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 161
Forest plot
• Los meta-análisis suelen ilustrarse con un forest plot
• Muestra las estimaciones del efecto y los intervalos de confianza tanto para los estudios individuales como
para los meta-análisis [86]
• Cada estudio está representado por un bloque en la estimación puntual del efecto de la intervención con
una línea horizontal que se extiende a cada lado del bloque
• El área del bloque indica el peso asignado a ese estudio en el meta-análisis, mientras que la línea
horizontal representa el intervalo de confianza (normalmente con un nivel de confianza del 95%)
• El área del bloque y el intervalo de confianza transmiten información similar, pero ambos contribuyen de
forma diferente al gráfico
• El intervalo de confianza representa el rango de efectos de la intervención compatible con el resultado del
estudio
• El tamaño del bloque atrae la atención hacia los estudios con mayor peso (normalmente los que tienen
intervalos de confianza más estrechos), que dominan el cálculo del resultado resumido, presentado como un
diamante en la parte inferior

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 162

Forest plot
• En un forest plot hay que prestar atención a
• La heterogeneidad de los efectos
• El peso de los estudios
• Los intervalos de confianza
• La disposición del diamante
• El test de efecto global

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 163

Forest plot. Ejemplo modificado de [87]

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 164

Forest plot. Ejemplo [84]

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 165

Forest plot. Ejemplo [84]

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 166

Funnel plot
• Representa en el eje X los efectos observados en los distintos estudios, y en el eje Y alguna
medida de precisión de la variable respuesta, como por ejemplo el error estándar
• Si hay un número suficiente de puntos (estudios), y en ausencia de heterogeneidad y de
sesgo de publicación, los puntos deberían adoptar conjuntamente el aspecto de un embudo,
con la parte más ancha correspondiendo a los estudios más pequeños y menos precisos
• Cuando se analiza un Funnel Plot se intenta determinar visualmente si los estudios se
disponen –en sentido horizontal, ya que la dirección vertical está determinada por el número
de participantes– según la lógica del azar: es decir, ninguna
• En ese caso se tiene la expectativa de tener tantos puntos a la izquierda como a la derecha de
la línea central, asociada al efecto común

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 167

# fit fixed-effects model
Funnel plot: Ejemplo
> res <- rma(yi, riesgos para lameasure="OR",
vi, data=dat.hackshaw1998, salud de los fumadores
method="FE")
pasivos [88]
> funnel(res)
0.000
0.184
Standard Error

0.367
0.551
0.735

-1.50 -1.00 -0.50 0.00 0.50 1.00 1.50 2.00

Log Odds Ratio

Revisiones sistemáticas
Figura y meta-análisis
4.4. Funnel en Ciencias
plot de Sociales
ejemploy Humanidades
del paquete metafor 168
Un enfoque genérico de la varianza inversa para el
meta-análisis [83]
• Es un versión muy común y simple del meta-análisis
• El método se denomina así porque la ponderación de cada estudio se
elige como la inversa de la varianza de la estimación del efecto (es decir,
1 sobre el cuadrado de su error estándar)
• Así, los estudios más grandes, que tienen errores estándar más
pequeños, tienen más peso que los estudios más pequeños, que tienen
errores estándar más grandes. Esta elección de ponderaciones
minimiza la imprecisión (incertidumbre) de la estimación del efecto
combinado
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 169
Método de efectos fijos para el meta-análisis [83]
• Un meta-análisis de efectos fijos que utiliza el método de la
varianza inversa calcula una media ponderada como

• Un meta-análisis de efectos fijos es válido bajo el supuesto de que

todas las estimaciones de los efectos están estimando el mismo
efecto subyacente de la intervención, lo que se conoce como un
supuesto de "efectos fijos", un supuesto de "efectos comunes" o
un supuesto de "efectos iguales"
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 170
Métodos de efectos aleatorios para el meta-análisis [83]
• Una variación del método de la varianza inversa consiste en incorporar
el supuesto de que los diferentes estudios están estimando efectos de
intervención diferentes, aunque relacionados [89]
• Esto produce un meta-análisis de efectos aleatorios

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 171

Meta-análisis en red (network meta-analysis) [90]
• Es una técnica para comparar tres o más intervenciones simultáneamente en un solo análisis,
combinando las pruebas directas e indirectas de una red de estudios
• Produce estimaciones de los efectos relativos entre cualquier par de intervenciones en la red y
suele producir estimaciones más precisas que una única estimación directa o indirecta. También
permite estimar la clasificación y la jerarquía de las intervenciones
• Un meta-análisis en red válido se basa en la suposición de que los diferentes conjuntos de estudios
incluidos en el análisis son similares, por término medio, en todos los factores importantes que
pueden afectar a los efectos relativos
• La incoherencia (también llamada inconsistencia) se produce cuando diferentes fuentes de
información discrepan (por ejemplo, directas e indirectas) sobre una determinada comparación de
la intervención
• La clasificación de la confianza en la evidencia de un meta-análisis en red comienza con la
evaluación de la confianza en cada comparación directa. Las evaluaciones específicas de cada
dominio se combinan para determinar la confianza general en la evidencia
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 172
Meta-análisis en red (network meta-analysis) [90]
• Un diagrama de red (network diagram) es una representación gráfica de
la estructura de una red de intervenciones [91]
• Consta de nodos que representan las intervenciones en la red y de
líneas que muestran las comparaciones directas disponibles entre pares
de intervenciones

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 173

Meta-análisis en red (network meta-analysis)

Representación gráfica de comparaciones directas e indirectas.

En la figura A se presentan dos comparaciones directas
aisladas (una compara el tratamiento B frente a A y otra
compara el tratamiento C frente a A). En la figura B se
presentan las dos comparaciones directas anteriores que se
incorporan en una revisión sistemática, permitiendo obtener
una comparación indirecta (C frente a B) a partir del
comparador común A. En la figura C se presentan tres
comparaciones directas (las dos presentes en la figura B más
una nueva que compara C frente a B). La combinación de una
comparación indirecta y una comparación directa (por ejemplo,
comparación de C frente a B) permite obtener una
comparación mixta [92]

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 174

Meta-análisis en red (network meta-analysis) [90]
Ejemplo de diagrama de red con cuatro
intervenciones

Se han añadido distintas líneas que forman un bucle

triangular cerrado para ilustrar la presencia de un
estudio de tres brazos

Puede observarse que, en el caso de las redes

grandes y complejas, esta presentación de los
estudios de múltiples brazos puede dar lugar a
diagramas de red complicados y poco útiles; en este
caso, podría ser preferible mostrar los estudios de
múltiples brazos en un formato tabular

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 175

Recogida de información. Medidas de efecto [93]
• El tipo de información a recopilar depende del tipo de la variable de respuesta y del análisis
estadístico realizado
• Si la variable respuesta es dicotómica (curación | no curación) y el estudio compara dos
tratamientos A y B, la información puede venir dada de esta forma
• Número de pacientes recibiendo tratamiento A | B (𝑛𝐴 | 𝑛𝐵)
• Para cada grupo, número de pacientes que ha tenido respuesta positiva (𝑘𝐴 | 𝑘𝐵)
o de esta otra
• Número de pacientes en el grupo A | B y que ha tenido respuesta positiva (a | c)
• Número de pacientes pacientes en el grupo A | B y que ha tenido respuesta negativa (b | d)
donde
• 𝑛𝐴 = a + b y 𝑛𝐵 = c + d

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 176

Recogida de información. Medidas de efecto [93]
• Con estos cuatro números (en cualquiera de las dos formas) se dispone
de la información esencial de un estudio
• Se puede hallar tanto la estimación puntual del efecto del tratamiento
como el cálculo de la variabilidad del estimador, que permite calcular
intervalos de confianza
• Se calcula el odds-ratio (OR) y el riesgo relativo (RR). Ambos casos, en
variables dicotómicas, tienen el 1 como valor neutro, es decir, no existen
diferencias entre los tratamientos

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 177

Recogida de información. Medidas de efecto
• Odds Ratio (OR - razón de productos cruzados, razón de probabilidades, razón de ventajas, razón de momios, desigualdad relativa y oportunidad relativa)
es una medida de efecto comúnmente utilizada para comunicar los resultados de una investigación en
salud [93]
• Matemáticamente un OR corresponde a un cociente entre dos odds, siendo un odds una forma
alternativa de expresar la posibilidad de ocurrencia de un evento de interés o de presencia de una
exposición
• Normalmente se expresa la posibilidad de ocurrencia de un evento mediante probabilidades
• Una forma alternativa de representar la posibilidad de ocurrencia de un evento de interés es mediante
el uso de odds, definidos como un cociente entre el número de eventos y el número de “no eventos”
• Probabilidades y odds son intercambiables [94]
• Una probabilidad puede convertirse en odds mediante la fórmula (probabilidad/(1-probabilidad))
• Un odds convertirse en una probabilidad mediante la fórmula (odds/(odds+1))
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 178
Recogida de información. Medidas de efecto
• El riesgo relativo (RR) es el cociente entre dos probabilidades o dos
riesgos [94]
• El cálculo de RR se restringe exclusivamente estudios prospectivos
(ensayos controlados aleatorizados y estudios de cohorte)
• Los OR constituyen una medida de efecto alternativa al RR, siendo uno
de sus méritos permitir expresar los resultados de estudios
retrospectivos y transversales

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 179

Recogida de información. Medidas de efecto [93]
• Si la variable respuesta es una variable cuantitativa (por ejemplo,
cambio en el índice de masa corporal de pacientes obesos) y el estudio
compara dos tratamientos A y B, la información puede venir dada de
esta forma
• Número de pacientes recibiendo tratamiento A | B (𝑛𝐴 | 𝑛𝐵)
• Media muestral de la respuesta en cada grupo (𝑚𝐴 | 𝑚𝐵)
• Desviación tipo muestral de la respuesta en cada grupo (𝑠𝐴 | 𝑠𝐵)

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 180

Recogida de información. Medidas de efecto [93]
• La simple diferencia de medias (MD) no representa una medida
estandarizada, de manera que pueda decirse que representa una
misma magnitud en cada estudio recopilado
• Es habitual que los diferentes estudios definan la variable respuesta con
criterios particulares (por ejemplo, la dosis del tratamiento puede cambiar
de un estudio a otro)
• Por esta razón, en ocasiones se emplea un efecto estandarizado dado
por

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 181

Recogida de información. Medidas de efecto [93]
• De esta manera, para los K estudios incluidos en la revisión sistemática,
se dispone finalmente de la siguiente información
• d1, …, dk, corresponde al estimador del efecto, estandarizado (OR, RR, SMD,
etc.) o no (MD, etc.)
• v1, …, vk, corresponde a la variancia del estimador dk
• De manera general, la variancia es inversamente proporcional al
número de participantes
• Los estudios más grandes suelen estar asociados a menor variabilidad
atribuible al muestreo

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 182

Herramientas para realizar meta-análisis
• RevMan ([Link]
• Uno de los programas más comunes
• Desarrollado por Cochrane Collaboration como programa
independiente para realizar revisiones sistemáticas y meta-
análisis
• La creación de un forest plot es relativamente fácil, con un
asistente guiado que ayuda en el proceso

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 183

Herramientas para realizar meta-análisis
• Metafor ([Link] [95]
• Metafor es uno de los muchos paquetes de R disponibles para realizar meta-
análisis y contiene las herramientas de análisis más completas
• R package meta ([Link]
[96]
• General Package for Meta-Analysis
• Paquete de R

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 184

Herramientas para realizar meta-análisis
• MetaGenyo ([Link] [97]
• Es una interfaz online utilizada para realizar meta-análisis
sobre estudios de asociación genética
• La interfaz es muy fácil de usar
• Solo se tarda unos minutos en pasar de la introducción de los
datos del estudio a los forest plot

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 185

Ejemplo de meta-análisis [98]
• Ejemplo de simulación explicativa válida tomando el tema de la
"evaluación de la seguridad de la vacuna contra el Ébola”

• El Ébola es una enfermedad tropical muy rara pero mortal

• La vacuna contra el Ébola está siendo desarrollada y se encuentra en

ensayos clínicos de fase I, II y III; se quiere saber si esta vacuna es segura
y puede inducir suficiente inmunogenicidad a los sujetos

• Todos los métodos se ajustan a las normas seguidas internacionalmente

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 186
Ejemplo de meta-análisis [98]

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 187

Ejemplo de meta-análisis [98]
Pregunta de investigación

¿Cómo es la seguridad e inmunogenicidad de la vacuna contra el Ébola

en humanos?
P: sujetos sanos (humanos)
I: vacunación
C: placebo
O: seguridad o efectos adversos

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 188

Ejemplo de meta-análisis [98]
• Estrategia de búsqueda
• Para mejorar del término de búsqueda se hacen pruebas y se busca otro
término relevante dentro de cada concepto de los artículos recuperados
• Para buscar un ensayo clínico, se usaron estos descriptores en PubMed: "clinical
trial"[Publication Type] OR "clinical trials as topic"[MeSH terms] OR "clinical
trial"[All Fields]
• Después de algunas rondas de pruebas y refinamiento del término de búsqueda,
se formuló el término de búsqueda final para PubMed como sigue (ebola OR
ebola virus OR ebola virus disease OR EVD) AND (vaccine OR vaccination OR
vaccinated OR immunization) AND ("clinical trial"[Publication Type] OR "clinical
trials as topic"[MeSH Terms] OR "clinical trial"[All Fields])
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 189
Ejemplo de meta-análisis [98]
• Fuentes de datos
• PubMed, Scopus, Web of Science, EMBASE, GHL, VHL, Cochrane, Google Scholar,
Clinical [Link], mRCTs, POPLINE, SIGLE
• Todos los registros se guardan a una biblioteca de Endnote para eliminar los duplicados y
exportarlos a una hoja de Excel
• Es obligatorio utilizar la función de eliminación de duplicados con dos opciones
• Se eliminan todas las referencias que tengan (1) el mismo título y autor, y que se hayan publicado
en el mismo año, y (2) el mismo título y autor, y que se hayan publicado en la misma revista
• Las referencias que queden después de este paso se exportan a un archivo Excel con la
información esencial para la selección: nombres de los autores, el año de publicación, la revista,
el DOI, el enlace URL y el resumen
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 190
Ejemplo de meta-análisis [98]

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 191

Ejemplo de meta-análisis [98]
• Extracción de datos y evaluación cualitativa
• Se recopilan datos de los textos completos en una hoja de Excel de extracción estructurada,
que se ha probado previamente para la extracción utilizando algunos estudios aleatoriamente
• Se recomienda extraer tanto los datos ajustados como los no ajustados porque así se obtiene el
factor de confusión (confounding factor) más adecuado que se utilizará en el análisis al
agruparlos posteriormente
• La hoja se clasifica en las características del estudio y del paciente, los resultados y la
herramienta de evaluación de la calidad
• En el ejemplo, los autores pueden extraer la siguiente información: nombre de los autores, país
de los pacientes, año de publicación, diseño del estudio (informe de caso, estudio de cohortes o
ensayo clínico), tamaño de la muestra, el punto de tiempo infectado después de la infección por
Ébola, el intervalo de seguimiento después del tiempo de vacunación, la eficacia, la seguridad,
los efectos adversos después de la vacunación y la hoja de control de calidad

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 192

Ejemplo de meta-análisis [98]
• Comprobación de los datos
• Debido al error humano y al sesgo, se recomienda un paso de comprobación
de datos
• Cada artículo incluido se compara con su homólogo en una hoja de
extracción por fotos de pruebas, para detectar errores en los datos

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 193

Ejemplo de meta-análisis [98]
• Análisis estadístico
• Es la parte del análisis cuantitativo
• Los análisis de subgrupos, de sensibilidad, acumulativos y la meta-
regresión son apropiados para comprobar si los resultados son
consistentes o no e investigar el efecto de ciertos factores de confusión
sobre el resultado y encontrar los mejores predictores
• El sesgo de publicación debe evaluarse para investigar la presencia de
estudios ausentes que puedan afectar al resumen

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 194

Ejemplo de meta-análisis [98]
• Análisis estadístico
• Se tiene un conjunto de datos sobre la pregunta de investigación acerca de la
seguridad de la vacuna contra el Ébola (en términos de eventos adversos, 14
días después de la inyección) y la inmunogenicidad (aumento de los
anticuerpos contra el virus del Ébola en el título medio geométrico, 6 meses
después de la inyección)
• A partir de la búsqueda y la extracción de datos, se decidió hacer un análisis
para evaluar la seguridad y la inmunogenicidad de la vacuna “A” contra el
Ébola. Otras vacunas contra el Ébola no fueron meta-analizadas debido al
número limitado de estudios (en su lugar, se incluirá para la revisión narrativa)
• Para el meta-análisis se puede usar el paquete meta de R [96]

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 195

Ejemplo de meta-análisis [98]
• Análisis estadístico
• El análisis asume que es de naturaleza heterogénea y se elige un modelo
de efectos aleatorios
• Se hizo un análisis sobre la seguridad de la vacuna “A” y se pueden ver
algunos acontecimientos adversos que se producen tras la inyección
intramuscular de la vacuna al sujeto del estudio
• Se han incluido seis estudios que cumplen los criterios de inclusión
• Se hace un meta-análisis para cada uno de los eventos adversos
extraídos de los estudios, por ejemplo, artralgia, a partir de los resultados
del meta-análisis de efectos aleatorios utilizando el paquete R meta [96]

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 196

Ejemplo de meta-análisis [98]
• Análisis estadístico
• La razón de probabilidades (odds ratio) de la artralgia es 1,06 (0,79; 1,42),
valor p = 0,71, lo que significa que no hay asociación entre la inyección
intramuscular de la vacuna “A” contra el Ébola y la artralgia, ya que la
razón de probabilidades es casi uno y, además, el valor p es insignificante
ya que es > 0,05

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 197

Ejemplo de meta-análisis [98]
• Análisis estadístico
• Se pueden visualizar los resultados en un forest plot

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 198

Ejemplo de meta-análisis [98]
• Análisis estadístico
• Para evaluar el sesgo de publicación relacionado con el meta-análisis de
eventos adversos de artralgia, se puede utilizar la función metabias del
paquete R meta y visualizarlo con un funnel plot

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 199

 Ejemplo de meta-análisis [98]
• Análisis estadístico
• Los resultados del sesgo
de publicación. Al
observar el funnel plot, el
número de estudios en el
lado izquierdo y derecho
del gráfico es el mismo;
por tanto, el gráfico es
simétrico, lo que indica
que no se ha detectado
ningún sesgo de
publicación
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 200
Etapas de un meta-análisis en Ciencias Sociales [99]
1. Formulación del problema
2. Búsqueda de los estudios
3. Codificación de los estudios
4. Cálculo del tamaño del efecto
5. Análisis estadístico e interpretación
6. Publicación del meta-análisis

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 201

Ejemplo: Meta-análisis en Ciencias Sociales [100]
• Formulación del problema
• Evaluar la eficacia de los programas de tutorización parental en casa como un
medio de mejorar el rendimiento escolar de los hijos. Los objetivos concretos
1. ¿Cuál es la efectividad general de la tutorización parental?
2. ¿Están los resultados de los programas relacionados con la duración de los
mismos, así como con características tales como la disponibilidad de
instrucciones escritas, de práctica supervisada o de realizar consultas al
profesor?
3. ¿Están los resultados de los programas relacionados con otras características de
los estudios, tales como el curso, el área de conocimiento estudiada, el modo de
evaluación de la eficacia o la fuente de publicación del estudio?

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 202

Ejemplo: Meta-análisis en Ciencias Sociales
• Búsqueda de los estudios
• Criterios de inclusión y exclusión, los propios del objetivos del meta-análisis, pero además deberían
contemplarse [99]
1. Identificar los diseños de los estudios admisibles para el meta-análisis ( ¿solo se aceptarán estudios
experimentales con asignación aleatoria o también se admitirán estudios cuasi-experimentales?
2. Definir los tipos de programas, tratamientos o intervenciones que se pretenden investigar
3. Definir las características de los participantes en los estudios (¿solo se admitirán estudios que han
trabajado con muestras de niños y adolescentes, o con adultos, o con pacientes que tienen un
determinado trastorno médico o educativo?)
4. Determinar los datos estadísticos que deben aportar los estudios para poder calcular los tamaños del
efecto (medias, desviaciones típicas, proporciones, pruebas t, pruebas F de ANOVA, etc.)
5. Identificar cómo han de venir medidas las variables de resultado (escalas psicológicas, pruebas de
rendimiento debidamente baremadas, etc.)

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 203

Ejemplo: Meta-análisis en Ciencias Sociales
• Búsqueda de los estudios
• Criterios de inclusión y exclusión definidos en el caso [100]
1. El estudio tenía que incluir dos grupos de estudiantes, uno de ellos actuando
como grupo de control
2. El programa de intervención tenía que implicar tareas de tutorización
realizadas por los padres, u otros miembros de la familia, en el hogar
3. Los participantes tenían que encontrarse en edad escolar
4. Las variables dependientes tenían que referirse a habilidades escolares básicas
(lectura, pronunciación, matemáticas y expresión escrita)
5. Debía aportar los datos estadísticos pertinentes para poder calcular el tamaño
del efecto
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 204
Ejemplo: Meta-análisis en Ciencias Sociales
• Codificación de los estudios
• Se elabora un Manual de Codificación en el que se hagan explícitos los criterios mediante
los cuales se van a codificar las características de los estudios
• La razón de examinar dichas características es comprobar qué características de los
estudios pueden estar moderando o afectando a los resultados
• La codificación de las características de los estudios es una tarea imprescindible si se
quiere explicar por qué los estudios sobre un mismo tema alcanzan resultados diferentes,
e incluso en ocasiones contradictorios [101]
• Con este propósito se elabora un Protocolo de Registro de las variables moderadoras de
los estudios y se aplica a todos ellos
• Atendiendo a su procedencia conceptual, es habitual distinguir entre características
metodológicas, sustantivas y extrínsecas [99]
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 205
Ejemplo: Meta-análisis en Ciencias Sociales
• Codificación de los estudios [99]
• Las características metodológicas son aquéllas que tienen que ver con la metodología y el diseño del estudio
como, por ejemplo, el tipo de diseño (experimental vs. cuasi-experimental) el tipo de grupo de control
(placebo vs. control puro), la inclusión o no de medidas pretest, la mortalidad experimental, el tamaño
muestral o el uso de evaluadores enmascarados, o ciegos, al tratamiento recibido por el sujeto que está
siendo evaluado
• Las características sustantivas son las que tienen que ver con el objeto propio de estudio del meta-análisis.
Se distinguen
• Características de tratamiento, que tienen que ver con el modo en que se ha definido e implementado el
programa
• Características de los participantes, que tienen que ver con los propios participantes
• Las características extrínsecas son las que no tendrían que afectar a los resultados de los estudios, al no
tener nada que ver con la aplicación del método científico. Sin embargo en ocasiones se observan
asociaciones entre ellas. Son ejemplos de tales variables el año de realización del estudio, la fuente de
publicación del estudio (publicado vs. no publicado), la formación del investigador principal del estudio, etc.
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 206
 Ejemplo: Meta-análisis en Ciencias Sociales [100]
• El instrumento de evaluación del resultado del estudiante está o no
Metodológicas debidamente baremado o referenciado

• Duración del programa de tutorización

• Disponibilidad de instrucciones escritas
Tratamiento • Disponibilidad de práctica supervisada
• Posibilidad de realizar consultas al profesor
Sustantivas
Características • Curso en el que están matriculados los
estudiantes
• País
Participantes • Programa aplicado en centro (escolar, sanitario,
social)
• Programa aplicado en la casa del participante

Extrínsecas • Año del estudio

• Fuente de publicación

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 207

Ejemplo: Meta-análisis en Ciencias Sociales
• Cálculo del tamaño del efecto
• El tamaño del efecto es un índice estadístico que mide el grado en que existe el fenómeno que se está investigando en cada
estudio y no se deja afectar por el tamaño muestral, como ocurre con las pruebas de significación estadística [102]
• Al mismo tiempo que se codifican las características de los estudios, se hace preciso calcular un índice estadístico que sea
capaz de reflejar la magnitud del efecto obtenido en cada estudio
• Ese índice estadístico tiene que ser tal que pueda calcularse de forma homogénea en todos los estudios, de forma que sea
capaz de poner en la misma métrica los resultados de los estudios
• Esta homogeneización de la unidad de medida de los resultados es necesaria porque los estudios analizan sus resultados de
formas muy diversas, tales como a través de medias y desviaciones típicas, proporciones de éxito (o de fracaso)
• Los índices del tamaño del efecto más frecuentemente utilizados en los meta-análisis son
• La familia d, especialmente indicada para estudios que aplican diseños con dos grupos y el resultado se mide de forma continua, y
que consiste en calcular la diferencia entre las medias de los dos grupos y, opcionalmente, dividirla por la desviación típica conjunta
de ambos grupos
• La familia r, especialmente indicada para estudios correlacionales, que se basa en la obtención de un coeficiente de correlación
• La familia de índices de riesgo, que está indicada para estudios con dos grupos en los que la variable de respuesta es dicotómica
(ejemplo, aprueba vs. suspende, mejora vs. no mejora)
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 208
Ejemplo: Meta-análisis en Ciencias Sociales [100]
• Al incluir estudios con dos grupos de estudiantes, uno que recibía el programa de
tutorización parental y el otro que actuaba como grupo de control, y medir los
resultados de forma continua mediante pruebas de rendimiento escolar, utiliza como
índice del tamaño del efecto la diferencia media tipificada, un índice de la familia d

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 209

Ejemplo: Meta-análisis en Ciencias Sociales
• Análisis estadístico e interpretación. Fases
1. Cálculo del tamaño del efecto medio con su intervalo de confianza y valoración de su significación
estadística
2. Análisis de la heterogeneidad de los tamaños del efecto
3. Si los tamaños del efecto son heterogéneos, búsqueda de variables moderadoras de tal variabilidad
• Los estudios individuales de un meta-análisis habrán utilizado tamaños muestrales diferentes, lo cual
afecta a la precisión de las estimaciones del tamaño del efecto obtenidas
• Cuanto mayor es el tamaño muestral de un estudio, tanto mayor es su precisión
• Los análisis estadísticos que se realizan en un meta-análisis ponderan el tamaño del efecto obtenido
en cada estudio en función de su precisión, de forma que el factor de ponderación de cada estudio es
la inversa de su varianza
• Hay que plantear el modelo estadístico desde el cual va a ponderar los tamaños del efecto. Son dos los
modelos estadísticos típicos en meta-análisis
• Los modelos de efectos fijos y de efectos aleatorios
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 210
Ejemplo: Meta-análisis en Ciencias Sociales
• Análisis estadístico e interpretación
• El modelo de efectos fijos asume que todos los estudios están
estimando a un mismo tamaño del efecto poblacional, de forma que la
única variabilidad entre los tamaños del efecto se deberá al error de
muestreo
• El modelo de efectos aleatorios asume que cada estudio estima a su
propio tamaño del efecto poblacional, entendiendo que existe una
distribución de tamaños del efecto poblacionales y no uno solo común
a todos los estudios

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 211

Ejemplo: Meta-análisis en Ciencias Sociales [100]
• Análisis estadístico e interpretación
• El tamaño del efecto medio obtenido para el conjunto total de 32 estudios
fue una diferencia media tipificada d+ = 0,54 (límites confidenciales: 0,43 y
0,65) asumiendo un modelo de efectos fijos y d+ = 0,71 (límites
confidenciales: 0,48 y 0,92), asumiendo un modelo de efectos aleatorios
• Ambos efectos medios fueron estadísticamente significativos, al no
contener sus respectivos intervalos de confianza el efecto nulo (d = 0)

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 212

Ejemplo: Meta-análisis en Ciencias Sociales [100] 60 JULIO SÁNCHEZ-MECA

• Análisis estadístico e
interpretación
Forest plot del meta-análisis
[100] sobre la eficacia de la
tutorización parental. d:
diferencia media tipificada de
cada estudio. ET: error típico de
cada índice d. di y ds: límites
confidenciales inferior y superior
al 95% en torno al índice d

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades Figura 1. Forest plot del meta-análisis de Erion (2006) sobre la eficacia de la tutorización parental. d: di-213
ferencia media tipificada de cada estudio. ET: error típico de cada índice d. di y ds: límites confidencia-
[Link]
8. Caso de estudio
Enunciado
• El Grupo de Investigación e Innovación en Educación del Tecnológico de
Monterrey ([Link] desea hacer un estudio de las
tendencias en su línea de investigación en desarrollo y uso de la tecnología en
educación

• El desarrollo de este caso de estudio dio como resultado la publicación de este

libro [103]

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 215

Planteamiento
• Se va a enfocar como un mapping, pero sin ser parte de una SLR
• Es una línea muy amplia, habrá que delimitar
• Temporalmente: 2015-Actualidad
• Bases de datos
• Scopus
• WoS colección principal
• Idioma
• Búsquedas solo con términos en inglés
• Se aceptarán artículos en español o inglés
• Tipo de documento
• Solo artículos en revistas

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 216

Planteamiento
• Se va a mostrar como iniciar el proceso, utilizando de apoyo la
herramienta Parsifal [Link]

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 217

Definición del sistemático y establecimiento del equipo
de trabajo

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 218

Definición del protocolo
• Se define el objetivo
de la acción
y el PICOC

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 219

Definición del protocolo
• Preguntas de investigación

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 220

Definición del protocolo
• El siguiente paso es definir los términos clave, relacionados con
los campos PICOC

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 221

Definición del protocolo
• Se plantea cuál podría ser la ecuación de búsqueda canónica

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 222

Definición del protocolo
• Se eligen las fuentes de datos de las que extraer los estudios

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 223

Definición del protocolo
• Se definen los criterios de inclusión y exclusión

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 224

Definición del protocolo
• Se definen las
preguntas
para evaluar
la calidad de
los artículos
seleccionados

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 225

Definición del protocolo
• Se define un formulario para la extracción de datos

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 226

Proceso de revisión
• Se debe transformar la ecuación canónica en ecuaciones específicas
para cada una de las fuentes de datos y que sean equivalentes

• Para ello se irá a la fuente de datos y se utilizará la herramienta de

búsqueda con los refinamientos que sean necesarios

• Finalmente, se capturará la ecuación con la que se va a trabajar, es decir,

la que genera el conjunto de artículos con el que se va a trabajar

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 227

Proceso de revisión

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 228

Proceso de revisión
• Se realiza la búsqueda en WoS

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 229

Proceso de revisión
• Se realiza la búsqueda en WoS

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 230

Proceso de revisión
• Se van haciendo los refinamientos oportunos hasta haber incluido
las diferentes restricciones y tener el conjunto de datos con el que
se va a trabajar

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 231

Proceso de revisión
• Una vez se tiene el conjunto de datos, se seleccionan los registros

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 232

Proceso de revisión
• Se exportan los registros para trabajar con ellos en el formato que
se desee: Bibtex, EndNote, Fichero delimitado, etc.

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 233

Proceso de revisión
• Ya se tiene el conjunto de datos para trabajar con él

Conjunto de datos en Endnote

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 234

 Proceso de revisión
• Ya se tiene el conjunto de datos para trabajar con él

Conjunto de datos en CSV

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 235

 Proceso de revisión
• Ya se tiene el conjunto de datos para trabajar con él

Conjunto de datos en XML

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 236

 Proceso de revisión
• Ya se tiene el conjunto de datos para trabajar con él

Conjunto de datos en Mendely

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 237

 Proceso de revisión
• Ya se tiene el conjunto de datos para trabajar con él

Conjunto de datos en BibTeX

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 238

Proceso de revisión
• Se guarda la ecuación de búsqueda en WoS

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 239

Proceso de revisión
• Se hace la búsqueda en Scopus

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 240

Proceso de revisión
• Se hace la búsqueda en Scopus

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 241

Proceso de revisión
• Se van haciendo los refinamientos oportunos hasta haber incluido
las diferentes restricciones y tener el conjunto de datos con el que
se va a trabajar

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 242

Proceso de revisión
• Una vez se tiene el conjunto de
datos, se puede obtener
información general del
conjunto de datos seleccionado
en un fichero CSV

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 243

Proceso de revisión
• Una vez se tiene el conjunto de datos, se puede obtener
información general del conjunto de datos seleccionado en un
fichero CSV

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 244

Proceso de revisión
• Una vez se tiene el conjunto de datos, se seleccionan los registros

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 245

Proceso de revisión
• Se exportan para trabajar con ellos en el formato que se desee:
Bibtex, EndNote, CSV, etc.

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 246

 Proceso de revisión
• Ya se tiene el conjunto de datos para trabajar con él

Conjunto de datos en CSV

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 247

 Proceso de revisión
• Ya se tiene el conjunto de datos para trabajar con él

Conjunto de datos en BibTeX

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 248

Proceso de revisión
• Se guarda la ecuación de búsqueda en Scopus

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 249

Revisión de los artículos
• Se importan los estudios

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 250

Revisión de los artículos
• Se marcan los duplicados

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 251

Revisión de los artículos
• Se seleccionan los duplicados y se eliminan

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 252

Revisión de los artículos
• Se procede a la
revisión
individual de los
artículos
seleccionados
para aceptarlos o
rechazarlos

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 253

Revisión de los artículos
• Ejemplo de aceptación

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 254

Revisión de los artículos
• Ejemplo de rechazo

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 255

Revisión de los artículos
• Los avances se van reflejando en el cuadro de mandos

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 256

Aseguramiento de la calidad
• Por cada uno de los aceptados, se van a ir respondiendo las
preguntas definidas sobre la calidad de los artículos

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 257

Extracción de datos
• Se van rellenando los campos del formulario de extracción de
datos

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 258

[Link]
9. Conclusiones
Conclusiones
• Las revisiones sistemáticas de la literatura ofrecen la posibilidad de
estar informados sobre un área de interés
• Escribir una revisión de la literatura defectuosa es una de las muchas
maneras de hacer fracasar una publicación [104]
• Si la revisión de la literatura es deficiente, el resto de la investigación
también puede verse como imperfecta, porque “un investigador no
puede realizar una investigación significativa sin conocer primero la
literatura en el campo de estudio” [105]

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 260

Conclusiones
• A la hora de hacer una revisión sistemática de debe utilizar un protocolo
sistemático que facilite el proceso y la trazabilidad
• Se debe apoyar en herramientas que permitan compartir el conjunto de datos
inicial y las versiones filtradas hasta llegar al conjunto de registros seleccionado
• Hojas de cálculo
• Sitios web
• Herramientas (por ejemplo, Parsifal [Link]

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 261

Conclusiones
• Puntos fuertes de una revisión sistemática
• Este tipo de revisiones son consideradas como las revisiones más fuertes en
muchas áreas de conocimiento
• Muchas organizaciones financian procesos de revisión sistemática para
desarrollar investigación
• Una buena revisión sistemática tiene opciones para ser publicada en formato de
artículo científico
• Permiten crear estados de la cuestión robustos sobre los que sustentar una
investigación o un trabajo académico (Trabajo Fin de Máster o Tesis Doctoral)

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 262

Conclusiones
• Debilidades de una revisión sistemática
• Sesgo de las fuentes primarias
• Si la revisión toma demasiado tiempo, habrá que volver a hacer algunas partes
del proceso después de un tiempo
• Debe extenderse generalmente a otras bases de datos aparte de las principales,
para que mejore la eficacia de la revisión sistemática
• En muchas ocasiones una revisión sistemática de literatura que se envía como
un artículo científico no se comprende por los revisores

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 263

Conclusiones
• Para publicar un trabajo de revisión sistemática como un artículo científico
• Encontrar qué revistas/conferencias suelen publicarlas, así como los últimos
artículos de revisión de publicados en estas fuentes
• Preparar la versión del artículo sobre la base de los últimos artículos publicados
anteriormente en la revista/conferencia seleccionada
• Si tiene un trabajo de revisión muy grande, solo una parte debería ir en un
artículo. La otra parte del contenido/resultados podría ser objeto de otro
artículo o estar disponible en la memoria del trabajo académico
• Aportar los enlaces a los conjuntos de datos disponibles en la nube

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 264

Conclusiones
• El meta-análisis requiere de un proceso de revisión sistemática previo
• La parte cuantitativa del trabajo es el foco del meta-análisis
• Los trabajos que entran en el meta-análisis han de ser comparables
estadísticamente, sino serían objeto de una descripción cualitativa en la
parte de revisión sistemática o de mapeo

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 265

[Link]
Referencias
Historial
• Este material está basado en ediciones de los siguientes seminarios [106-119]

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 267

Referencias
1. V. Chavan y L. Penev, "The data paper: A mechanism to incentivize data publishing in biodiversity science," BMC Bioinformatics, vol. 12, no. 15, p. S2, 2011. doi: 10.1186/1471-2105-12-S15-S2.
2. G. V. Glass, "Primary, Secondary, and Meta-Analysis of Research," Educational Researcher, vol. 5, no. 10, pp. 3-8, 1976.
3. L. Codina. (2017, April 20th, 2017). Revisiones bibliográficas y cómo llevarlas a cabo con garantías: systematic reviews y SALSA Framework. Disponible en: [Link]
4. J. A. Guirao-Goris, A. Olmedo Salas y E. Ferrer Ferrandis, "El artículo de revisión," Revista Iberoamericana de Enfermeria Comunitaria, vol. 1, no. 1, 2008.
5. M. T. Icart Isern y J. Canela Soler, "El artículo de revisión," Enfermería Clínica, vol. 4, no. 4, pp. 180-184, 1994.
6. B. Gastel y R. Day, How to Write and Publish a Scientific Paper, 8th ed. Santa Barbara, CA, USA: Greenwood, 2016.
7. M. Soto y G. Rada, "Formulación de preguntas en medicina basada en la evidencia," Revista Médica de Chile, vol. 131, no. 10, pp. 1202-1207, 2003. doi: 10.4067/S0034-98872003001000016
8. H. Martín Rodero, "La búsqueda bibliográfica, pilar fundamental de la medicina basada en la evidencia: evaluación multivariante de las enfermedades nutricionales y metabólicas," PhD,
Departamento de Salud Pública, Historia de la Ciencia y Ginecología, Universidad Miguel Hernández, Alicante, España, 2014. Disponible en: [Link]
9. M. J. Grant y A. Booth, "A typology of reviews: an analysis of 14 review types and associated methodologies," Health Information and Libraries Journal, vol. 26, no. 2, pp. 91-108, 2009. doi:
10.1111/j.1471-1842.2009.00848.x.
10. S. Kulviwat, C. Guo y N. Engchanil, "Determinants of online information search: a critical review and assessment," Internet Research, vol. 14, no. 3, pp. 245-253, 2004. doi:
10.1108/10662240410542670.
11. P. De Bra, P. Brusilovsky y G. J. Houben, "Adaptive Hypermedia: From Systems to Framework," ACM Computing Surveys, vol. 31, no. 4es, p. Article No. 12 1999. doi: 10.1145/345966.345996.
12. C. Kelleher y R. Pausch, "Lowering the barriers to programming: A taxonomy of programming environments and languages for novice programmers," ACM Computing Surveys, vol. 37, no. 2, pp.
83-137, 2005. doi: 10.1145/1089733.1089734.
13. F. J. García-Peñalvo, D. Reimann, M. Tuul, A. Rees y I. Jormanainen, "An overview of the most relevant literature on coding and computational thinking with emphasis on the relevant issues for
teachers," TACCLE3 Consortium, Belgium, 2016. doi: 10.5281/zenodo.165123.
14. F. J. García-Peñalvo y A. M. Seoane-Pardo, "Una revisión actualizada del concepto de eLearning. Décimo Aniversario," Education in the Knowledge Society, vol. 16, no. 1, pp. 119-144, 2015. doi:
10.14201/eks2015161119144.
15. A. Hall y G. Walton, "Information overload within the health care system: a literature review," Health Information & Libraries Journal, vol. 21, no. 2, pp. 102-108, 2004. doi: 10.1111/j.1471-
1842.2004.00506.x.
16. L. I. González-Pérez, M. S. Ramírez-Montoya y F. J. García-Peñalvo, "Discovery Tools for Open Access Repositories: A Literature Mapping," en Proceedings of the Fourth International Conference on
Technological Ecosystems for Enhancing Multiculturality (TEEM’16) (Salamanca, Spain, November 2-4, 2016), F. J. García-Peñalvo, Ed. ICPS: ACM International Conference Proceeding Series, pp.
299-305, New York, NY, USA: ACM, 2016. doi: 10.1145/3012430.3012532.
17. L. I. González-Pérez, M. S. Ramírez-Montoya, F. J. García-Peñalvo y J. E. Quintas Cruz, "Usability evaluation focused on user experience of repositories related to energy sustainability: A Literature
Mapping," en Fifth International Conference on Technological Ecosystems for Enhancing Multiculturality (TEEM’17) (Cádiz, Spain, October 18-20, 2017) J. M. Dodero, M. S. Ibarra Sáiz y I. Ruiz Rube,
Eds. ICPS: ACM International Conference Proceeding Series, New York, NY, USA: ACM, 2017. doi: 10.1145/3144826.3145385.

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 268

Referencias
18. K. Petersen, R. Feldt, S. Mujtaba y M. Mattsson, "Systematic mapping studies in software engineering," en Proceedings of the 12th international conference on Evaluation and Assessment in
Software Engineering (EASE'08), G. Visaggio, M. T. Baldassarre, S. Linkman y M. Turner, Eds. pp. 68-77, Swinton, UK: British Computer Society, 2008.
19. A. García-Holgado, S. Marcos-Pablos, R. Therón y F. J. García-Peñalvo, "Technological ecosystems in the health sector: A mapping study of European research projects," Journal of Medical
Systems, vol. 43, art. 100, 2019. doi: 10.1007/s10916-019-1241-5.
20. M. Á. Conde, F. J. Rodríguez Sedano, C. Fernández-Llamas, J. Gonçalves, J. Lima y F. J. García-Peñalvo, "RoboSTEAM Project Systematic Mapping: Challenge Based Learning and Robotics," en
2020 IEEE Global Engineering Education Conference (EDUCON), (27-30 April 2020, Porto, Portugal) pp. 214-221, USA: IEEE, 2020. doi: 10.1109/EDUCON45650.2020.9125103.
21. M. L. Saxton, "Reference service evaluation and meta-analysis: Findings and methodological issues," Library Quarterly, vol. 67, no. 3, pp. 267-289, 1997. doi: 10.1086/629952.
22. B. Means, Y. Toyama, R. Murphy y M. Baki, "The effectiveness of online and blended learning: A meta-analysis of the empirical literature," Teachers College Record, vol. 115, no. 3, pp. 1-47, 2013
23. T. A. M. Kooij, R. Kanfer, M. Betts y C. W. Rudolph, "Future time perspective: A systematic review and meta-analysis," Journal of Applied Psychology, vol. 103, no. 8, pp. 867-893, 2018. doi:
10.1037/apl0000306.
24. Y. Sung, K. Chang y T. Liu, "The effects of integrating mobile devices with teaching and learning on students' learning performance: A meta-analysis and research synthesis," Computers &
Education, vol. 94, pp. 252-275, 2016. doi: 10.1016/[Link].2015.11.008.
25. J. Shepherd et al., "Young people and healthy eating: a systematic review of research on barriers and facilitators," Health Education Research, vol. 21, no. 2, pp. 239-257, 2006. doi:
10.1093/her/cyh060.
26. M. N. K. Boulos, L. Hetherington y S. Wheeler, "Second Life: an overview of the potential of 3-D virtual worlds in medical and health education," Health Information & Libraries Journal, vol. 24, no. 4,
pp. 233-245, 2007. doi: 10.1111/j.1471-1842.2007.00733.x.
27. F. Duggan y L. Banwell, "Constructing a model of effective information dissemination in a crisis," Information Research, vol. 9, no. 3, 2004.
28. S. L. Bryant y A. Gray, "Demonstrating the positive impact of information support on patient care in primary care: a rapid literature review," Health Information & Libraries Journal, vol. 23, no. 2, pp.
118-125, 2006. doi: 10.1111/j.1471-1842.2006.00652.x.
29. L. C. Weeks y T. Strudsholm, "A scoping review of research on complementary and alternative medicine (CAM) and the mass media: Looking back, moving forward," BMC Complementary and
Alternative Medicine, vol. 8, no. 1, art. 43, 2008. doi: 10.1186/1472-6882-8-43.
30. P. A. Bath, "Data mining in health and medical information," Annual Review of Information Science and Technology, vol. 38, no. 1, pp. 331-369, 2004. doi: 10.1002/aris.1440380108.
31. B. Kitchenham y S. Charters, "Guidelines for performing Systematic Literature Reviews in Software Engineering. Version 2.3," School of Computer Science and Mathematics, Keele University
Technical Report, EBSE-2007-01, 2007. Disponible en: [Link]
32. J. Cruz-Benito, F. J. García-Peñalvo y R. Therón, "Analyzing the software architectures supporting HCI/HMI processes through a systematic review of the literature," Telematics and Informatics,
vol. 38, pp. 118-132, 2019. doi: 10.1016/[Link].2018.09.006.
33. K. Manikas y K. M. Hansen, "Software ecosystems – A systematic literature review," Journal of Systems and Software, vol. 86, no. 5, pp. 1294-1306, 2013. doi: 10.1016/[Link].2012.12.026.
34. R. Pazmiño-Maji, M. Á. Conde y F. J. García-Peñalvo, "Learning analytics in Ecuador: a systematic review supported by statistical implicative analysis," Universal Access in the Information Society,
vol. In Press, 2021. doi: 10.1007/s10209-020-00773-0.
Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 269
Referencias
35. S. Marcos-Pablos y F. J. García-Peñalvo, "Technological Ecosystems in Care and Assistance: A Systematic Literature Review," Sensors, vol. 19, no. 3, art. 708, 2019. doi: 10.3390/s19030708.
36. M. S. Ramírez-Montoya y F. J. García-Peñalvo, "Co-creation and open innovation: Systematic literature review," Comunicar, vol. 26, no. 54, pp. 9-18, 2018. doi: 10.3916/C54-2018-01.
37. P. Humanante-Ramos, F. J. García-Peñalvo y M. Á. Conde-González, "Entornos personales de aprendizaje móvil: Una revisión sistemática de la literatura," RIED. Revista Iberoamericana de Educación a
Distancia, vol. 20, no. 2, pp. 73-92, 2017. doi: 10.5944/ried.20.2.17692.
38. A. Vázquez-Ingelmo, F. J. García-Peñalvo y R. Therón, "Information Dashboards and Tailoring Capabilities - A Systematic Literature Review," IEEE Access, vol. 7, pp. 109673-109688, 2019. doi:
10.1109/ACCESS.2019.2933472.
39. L. J. Carroll, J. D. Cassidy, P. M. Peloso, C. Garritty y L. Giles-Smith, "WHO Collaborating Centre Task Force on Mild Traumatic Brain Injury. Systematic search and review procedures: results of the WHO
Collaborating Centre Task Force on Mild Traumatic Brain Injury," Journal of Rehabilitation Medicine, vol. 43, pp. 11-14, 2004. doi: 10.1080/16501960410023660. PMID: 15083867.
40. R. Cornet y N. de Keizer, "Forty years of SNOMED: a literature review," BMC Medical Informatics and Decision Making, vol. 8, no. 1, art. S2, 2008. doi: 10.1186/1472-6947-8-S1-S2.
41. J. K. Seida, M. B. Ospina, M. Karkhaneh, L. Hartling, V. Smith y B. Clark, "Systematic reviews of psychosocial interventions for autism: an umbrella review," Developmental Medicine & Child Neurology,
vol. 51, no. 2, pp. 95-104, 2009. doi: 10.1111/j.1469-8749.2008.03211.x.
42. A. García-Holgado y F. J. García-Peñalvo, "Mapping the systematic literature studies about software ecosystems," en Proceedings TEEM’18. Sixth International Conference on Technological Ecosystems
for Enhancing Multiculturality (Salamanca, Spain, October 24th-26th, 2018), F. J. García-Peñalvo, Ed. pp. 910-918, New York, NY, USA: ACM, 2018. doi: 10.1145/3284179.3284330.
43. L. M. Letelier, J. J. Manríquez y G. Rada, "Revisiones sistemáticas y metaanálisis: ¿son la mejor evidencia?," Revista Médica de Chile, vol. 133, no. 2, pp. 246-249, 2005. doi: 10.4067/S0034-
98872005000200015.
44. A. Fink, Conducting literature research reviews: from paper to the Internet. Thousand Oaks, CA: Sage, 1998.
45. A. Sáenz, "Leer e interpretar una revisión sistemática," Boletín de la Sociedad de Pediatría de Asturias, Cantabria, Castilla y León, vol. 41, no. 177, pp. 215-221, 2001.
46. J. Gisbert y X. Bonfill, "¿Cómo realizar, evaluar y utilizar revisiones sistemáticas y metaanálisis?," Gastroenterología y Hepatología, vol. 27, no. 3, pp. 129-149, 2004. doi: 10.1016/S0210-5705(03)79110-9.
47. CASCADE Project, "Mapping in literature reviews," University of Exeter, UK, 2012. Disponible en: [Link]
48. A. Liberati et al., "The PRISMA Statement for Reporting Systematic Reviews and Meta-Analyses of Studies That Evaluate Health Care Interventions: Explanation and Elaboration," PLOS Medicine, vol. 6,
no. 7, art. e1000100, 2009. doi: 10.1371/[Link].1000100.
49. D. Moher, A. Liberati, J. Tetzlaff y D. G. Altman, "Preferred reporting items for systematic reviews and meta-analyses: The PRISMA statement," International Journal of Surgery, vol. 8, art. e1000097,
pp. 336-341, 2010. doi: 10.1016/[Link].2010.02.007.
50. L. Shamseer et al., "Preferred reporting items for systematic review and meta-analysis protocols (PRISMA-P) 2015: elaboration and explanation," BMJ: British Medical Journal, vol. 349, p. g7647, 2015.
doi: 10.1136/bmj.g7647.
51. W. Mengist, T. Soromessa y G. Legese, "Method for conducting systematic literature review and meta-analysis for environmental science research," MethodsX, vol. 7, 2020. doi:
10.1016/[Link].2019.100777.

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 270

Referencias
52. M. Genero, J. A. Cruz-Lemus y M. Piattini, Métodos de Investigación en Ingeniería del Software. Madrid, España: RA-MA, 2014.
53. M. Petticrew y H. Roberts, Systematic reviews in the social sciences: A practical guide. New York, NY: John Wiley & Sons, 2005.
54. J. Cruz-Benito, R. Therón y F. J. García-Peñalvo, "Software Architectures Supporting Human-Computer Interaction Analysis: A Literature Review," en Learning and Collaboration Technologies. Third
International Conference, LCT 2016, Held as Part of HCI International 2016, Toronto, ON, Canada, July 17-22, 2016, Proceedings, P. Zaphiris y I. Ioannou, Eds. Lecture Notes in Computer Science, no.
9753, pp. 125-136, Switzerland: Springer International Publishing, 2016. doi: 10.1007/978-3-319-39483-1_12.
55. J. P. T. Higgins et al., Cochrane Handbook for Systematic Reviews of Interventions. Version 6.2. Cochrane Training, 2021. Disponible en: [Link]
56. A. Hidalgo Landa, I. Szabo, L. Le Brun, I. Owen y G. Fletcher, "Evidence Based Scoping Reviews," The Electronic Journal Information Systems Evaluation, vol. 14, no. 1, pp. 46-52, 2011.
57. A. Booth, A. Sutton y D. Papaioannou, Systematic Approaches to a Successful Literature Review, 2nd ed. London, UK: Sage, 2016.
58. W. S. Richardson, M. C. Wilson, J. Nishikawa y R. S. Hayward, "The well-built clinical question: a key to evidence-based decisions," ACP Journal Club, vol. 123, no. 3, art. A12, 1995. doi: 10.7326/ACPJC-
1995-123-3-A12.
59. A. Cooke, S. D. y A. Booth, "Beyond PICO: the SPIDER tool for qualitative evidence synthesis," Qualitative Health Research, vol. 22, no. 10, pp. 1435-1443, 2012. doi: 10.1177/1049732312452938.
60. A. Booth, "Clear and present questions: formulating questions for evidence based practice," Library Hi Tech, vol. 24, no. 3, pp. 355-368, 2006. doi: 10.1108/07378830610692127.
61. D. Denyer y D. Tranfield, "Producing a systematic review," en The Sage Handbook of Organizational Research Methods, D. A. Buchanan y A. Bryman, Eds. pp. 671-689, London, UK: Sage, 2009.
62. T. Ferreras-Fernández, H. Martín-Rodero, F. J. García-Peñalvo y J. A. Merlo-Vega, "The Systematic Review of Literature in LIS: An approach," en Proceedings of the Fourth International Conference on
Technological Ecosystems for Enhancing Multiculturality (TEEM’16) (Salamanca, Spain, November 2-4, 2016), F. J. García-Peñalvo, Ed. pp. 291-298, New York, NY, USA: ACM, 2016. doi:
10.1145/3012430.3012531.
63. B. J. Shea et al., "AMSTAR 2: a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of healthcare interventions, or both," BMJ, vol. 358, art. j4008, 2017. doi:
10.1136/bmj.j4008.
64. S. Marcos-Pablos y F. J. García-Peñalvo, "Decision support tools for SLR search string construction," en Proceedings TEEM’18. Sixth International Conference on Technological Ecosystems for
Enhancing Multiculturality (Salamanca, Spain, October 24th-26th, 2018), F. J. García-Peñalvo, Ed. pp. 660-667, New York, NY, USA: ACM, 2018. doi: 10.1145/3284179.3284292.
65. S. Marcos-Pablos y F. J. García-Peñalvo, "Information retrieval methodology for aiding scientific database search," Soft Computing, vol. 24, no. 8, pp. 5551–5560, 2020. doi: 10.1007/s00500-018-3568-
0.
66. Aromataris, E., & Riitano, D. (2014). Constructing a search strategy and searching for evidence. A guide to the literature search for a systematic review. American Journal of Nursing, 115(5), 49-56.
[Link]
67. C. Hart, Doing a Literature Search: A Comprehensive Guide for the Social Sciences. London: Sage, 2002.
68. A. Vázquez-Ingelmo, F. J. García-Peñalvo y R. Therón, "Tailored information dashboards: A systematic mapping of the literature," en Proceedings of the XX International Conference on Human
Computer Interaction (Donostia, Gipuzkoa, Spain — June 25 - 28, 2019) p. Article Number 26, New York, NY, USA: ACM, 2019. doi: 10.1145/3335595.3335628.
69. S. F. Phelps y N. Campbell, "Systematic Reviews in Theory and Practice for Library and Information Studies," Library and Information Research, vol. 36, no. 112, pp. 6-15, 2012.
70. S. Keshav, "How to read a paper," ACM SIGCOMM Computer Communication Review, vol. 37, no. 3, pp. 83-84, 2007. doi: 10.1145/1273445.1273458.

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 271

Referencias
71. L. Briz Ponce, "Análisis de la efectividad en las Aplicaciones m-health en dispositivos móviles dentro del ámbito de la formación médica," PhD, Programa de Doctorado en Formación en la Sociedad del
Conocimiento, Universidad de Salamanca, Salamanca, 2016. Disponible en: [Link]
72. T. Ferreras-Fernández, "Visibilidad e impacto de la literatura gris científica en repositorios institucionales de acceso abierto. Estudio de caso bibliométrico del repositorio Gredos de la Universidad de
Salamanca," PhD, Programa de Doctorado en Formación en la Sociedad del Conocimiento, Universidad de Salamanca, Salamanca, España, 2016. Disponible en: [Link]
73. L. P. S. Dias, J. L. V. Barbosa y H. D. Vianna, "Gamification and serious games in depression care: A systematic mapping study," Telematics and Informatics, vol. 35, pp. 213-224, 2018. doi:
10.1016/[Link].2017.11.002.
74. R. J. Light y D. B. Pillemer, Summing Up: The Science of Reviewing Research. Cambridge, MA, USA: Harvard University Press, 1984.
75. E. Barnett-Page y J. Thomas, "Methods for the synthesis of qualitative research: a critical review," BMC Medical Research Methodology, vol. 9, no. 1, art. 59, 2009. doi: 10.1186/1471-2288-9-59.
76. I. F. del Amo, J. A. Erkoyuncu, R. Roy, R. Palmarini y D. Onoufriou, "A systematic review of Augmented Reality contentrelated techniques for knowledge transfer in maintenance applications," Computers in
Industry, vol. 103, pp. 47-71, 2018. doi: 10.1016/[Link].2018.08.007.
77. P. R. Humanante Ramos, "Entornos Personales de Aprendizaje Móvil (mPLE) en la Educación Superior," PhD, Programa de Doctorado en Formación en la Sociedad del Conocimiento, Universidad de
Salamanca, Salamanca, 2016. Disponible en: [Link]
78. A. García-Holgado, "Análisis de integración de soluciones basadas en software como servicio para la implantación de ecosistemas tecnológicos educativos," PhD, Programa de Doctorado en Formación en
la Sociedad del Conocimiento, Universidad de Salamanca, Salamanca, 2018. Disponible en: [Link]
79. R. Whittemore y K. Knafl, "The integrative review: updated methodology," Journal of Advanced Nursing, vol. 52, no. 5, pp. 546-553, 2005. doi: 10.1111/j.1365-2648.2005.03621.x.
80. M. S. Ramírez-Montoya y F. J. García-Peñalvo, "Co-creation and open innovation: Systematic literature review," Comunicar, vol. 26, no. 54, pp. 9-18, 2018. doi: 10.3916/C54-2018-01.
81. M. Á. Conde, F. J. Rodríguez-Sedano, C. Fernández-Llamas, J. Gonçalves, J. Lima y F. J. García-Peñalvo, "Fostering STEAM through Challenge Based Learning, Robotics and Physical Devices: A systematic
mapping literature review," Computer Application in Engineering Education, vol. 29, pp. 46-65, 2021. doi: 10.1002/cae.22354.
82. D. Denyer, D. Tranfield y J. E. van Aken, "Developing Design Propositions through Research Synthesis," Organization Studies, vol. 29, no. 3, pp. 393-413, 2008. doi: 10.1177/0170840607088020.
83. J. J. Deeks, J. P. T. Higgins y D. G. Altman, "Chapter 10: Analysing data and undertaking meta-analyses," en Cochrane Handbook for Systematic Reviews of Interventions. Version 6.2, J. P. T. Higgins et al.,
Eds.: Cochrane Training, 2021.
84. I. Ferreira González, G. Urrútia y P. Alonso-Coello, "Revisiones sistemáticas y metaanálisis: bases conceptuales e interpretación," Revista Española de Cardiología, vol. 64, no. 8, pp. 688-696, 2011. doi:
10.1016/[Link].2011.03.029.
85. J. P. T. Higgins y S. G. Thompson, "Quantifying heterogeneity in a meta-analysis," Statistics in Medicine, vol. 21, no. 11, pp. 1539-1558, 2002. doi: 10.1002/sim.1186.
86. S. Lewis y M. Clarke, "Forest plots: trying to see the wood and the trees," BMJ, vol. 322, art. 1479, 2001. doi: 10.1136/bmj.322.7300.1479.
87. A. Trivedi y J. K. Sinn, "Early versus late administration of amino acids in preterm infants receiving parenteral nutrition," Cochrane Database of Systematic Reviews, vol. 23, no. 7, art. CD008771, 2013. doi:
10.1002/14651858.CD008771.pub2.
88. A. K. Hackshaw, "Lung cancer and passive smoking," Statistical methods in medical research, vol. 7, no. 2, pp. 119–136, 1998. doi: 10.1177/096228029800700203.
89. J. P. T. Higgins, S. G. Thompson y D. J. Spiegelhalter, "A re-evaluation of random-effects meta-analysis," (in eng), Journal of the Royal Statistical Society. Series A, (Statistics in Society), vol. 172, no. 1, pp.
137-159, 2009. doi: 10.1111/j.1467-985X.2008.00552.x.

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 272

Referencias
90. A. Chaimani, D. M. Caldwell, T. Li, J. P. T. Higgins y G. Salanti, "Chapter 11: Undertaking network meta-analyses," en Cochrane Handbook for Systematic Reviews of Interventions. Version 6.2, J. P. T. Higgins et
al., Eds.: Cochrane Training, 2021. [Link]
91. A. Chaimani, J. P. T. Higgins, D. Mavridis, P. Spyridonos y G. Salanti, "Graphical tools for network meta-analysis in STATA," PloS One, vol. 8, art. e76654, 2013. doi: 10.1371/[Link].0076654.
92. F. Catalá-López, A. Tobías y M. Roqué, "Conceptos básicos del metaanálisis en red," Atención Primaria, vol. 46, no. 10, pp. 573-581, 2014. doi: 10.1016/[Link].2014.01.006.
93. J. A. González, E. Cobo y M. Vilaró, "Revisión sistemática y meta-análisis," en "Bioestadística para no estadísticos. Tome decisiones con criterio,” Universitat Politècnica de Catalunya, Barcelona, España, 2014.
Disponible en: [Link]
94. J. Cerda, C. Vera y G. Rada, "Odds ratio: aspectos teóricos y prácticos," Revista médica de Chile, vol. 141, no. 10, pp. 1329-1335, 2013. doi: 10.4067/S0034-98872013001000014.
95. W. Viechtbauer, "Conducting Meta-Analyses in R with the metafor Package," Journal of Statistical Software, vol. 36, no. 3, 2010. doi: 10.18637/jss.v036.i03.
96. G. Schwarzer, "General Package for Meta-Analysis. Version 4.18-0," CRAN, 2021. Disponible en: [Link]
97. J. Martorell-Marugan, D. Toro-Dominguez, M. E. Alarcon-Riquelme y P. Carmona-Saez, "MetaGenyo: a web tool for meta-analysis of genetic association studies," BMC Bioinformatics, vol. 18, no. 1, p. 563, 2017.
doi: 10.1186/s12859-017-1990-4.
98. G. M. Tawfik et al., "A step by step guide for conducting a systematic review and meta-analysis with simulation data," Tropical Medicine and Health, vol. 47, no. 1, art. 46, 2019. doi: 10.1186/s41182-019-0165-6.
99. J. Sánchez-Meca, "Cómo realizar una revisión sistemática y un meta-análisis," Aula Abierta, vol. 38, no. 2, pp. 53-64, 2010.
100. J. Erion, "Parent tutoring: A meta-analysis," Education and Treatment of Children, vol. 29, no. 1, pp. 79-106, 2006.
101. M. W. Lipsey y D. B. Wilson, Practical meta-analysis. Thousand Oaks, CA, USA: Sage, 2001.
102. J. Cohen, Statistical Power Analysis for the Behavioral Sciences, 2nd ed. Hillsdate, NJ, USA: LEA, 1988.
103. M. S. Ramírez-Montoya y J. R. Valenzuela González Eds., "Innovación educativa: Tendencias globales de investigación e implicaciones prácticas." Barcelona, España: Octaedro, 2019.
104. J. J. Randolph, "A Guide to Writing the Dissertation Literature Review. Practical Assessment," Research & Evaluation, vol. 14, no. 13, pp. 1-13, 2009.
105. D. Boote y P. Beile, "Scholars before Researchers: On the Centrality of the Dissertation Literature Review in Research Preparation," Educational Researcher, vol. 34, no. 6, pp. 3-15, 2005. doi:
10.3102/0013189X034006003.
106. J. Cruz Benito. (2016). Systematic Literature Review & Mapping. Disponible en: [Link]
107. F. J. García-Peñalvo, "Diseminación y divulgación científica," presentado en Tecnológico de Monterrey, Monterrey, México, 2016. Disponible: [Link] doi: 10.13140/RG.2.1.4131.4329
108. F. J. García-Peñalvo, "Taller Diseminación en Innovación Educativa," presentado en I Congreso Internacional de Tendencias en Innovación Educativa, CITIE 2016, Arequipa, Perú 2016. Disponible:
[Link]
109. F. J. García-Peñalvo, "Mapeos sistemáticos de literatura, revisiones sistemáticas de literatura y benchmarking de programas formativos," presentado en Seminario en el Tecnológico de Monterrey, Monterrey
(México), 27 y 28 de noviembre, 2017. Disponible: [Link] doi: 10.5281/zenodo.1067680
110. F. J. García-Peñalvo, "Mapping sistemáticos de literatura. Caso práctico de definición usando Parsifal," presentado en Seminario en el Tecnológico de Monterrey, Monterrey (México), 4 de diciembre, 2017.
Disponible: [Link] doi: 10.5281/zenodo.1069690.
111. F. J. García-Peñalvo, "Revisión sistemática de literatura en los Trabajos de Final de Máster y en las Tesis Doctorales," presentado en Seminarios del Programa de Doctorado en Formación en la Sociedad del
Conocimiento (16 de marzo de 2017), Salamanca, España, 2017. Disponible: [Link] doi: 10.5281/zenodo.399302

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 273

Referencias
112. F. J. García-Peñalvo, "Revisión sistemática de literatura para artículos," presentado en Seminario Tecnológico de Monterrey, Monterrey, México, 25 de enero, 2017. Disponible: [Link] doi:
10.13140/RG.2.2.15223.42403
113. F. J. García-Peñalvo, "Taller de revisión sistemática de literatura," presentado en Taller en el Centro Regional de Formación Docente e Investigación Educativa del Estado de Sonora (CRFDIES) Hermosillo,
Sonora, México, 30 de enero, 2017. Disponible: [Link] doi: 10.13140/RG.2.2.34015.87206
114. F. J. García-Peñalvo, "Revisiones y mapeos sistemáticos de literatura," Recursos docentes de la asignatura Procesos y Métodos de Modelado para la Ingeniería Web y Web Semántica. Máster Universitario en
Sistemas Inteligentes. Curso 2018-2019, F. J. García-Peñalvo, Ed., Salamanca, España: Universidad de Salamanca, 2019. [Online]. Disponible en: [Link] doi: 10.5281/zenodo.2586725
115. F. J. García-Peñalvo, "Método para la revisión sistemática de literatura," Recursos docentes de la asignatura Procesos y Métodos de Modelado para la Ingeniería Web y Web Semántica. Máster Universitario en
Sistemas Inteligentes. Curso 2019-2020, F. J. García-Peñalvo, Ed., Salamanca, España: Universidad de Salamanca, 2020. [Online]. Disponible en: [Link] doi: 10.5281/zenodo.3692796
116. F. J. García-Peñalvo, "SLR, mappings y meta-análisis," Recursos docentes de la asignatura Procesos y Métodos de Modelado para la Ingeniería Web y Web Semántica. Máster Universitario en Sistemas
Inteligentes. Curso 2020-2021, F. J. García-Peñalvo, Ed., Salamanca, España: Universidad de Salamanca, 2021. [Online]. Disponible en: [Link] doi: 10.5281/zenodo.4700155.
117. F. J. García-Peñalvo, "Las revisiones sistemáticas de la literatura," Doctorado en Gestión Estratégica. Consorcio de Universidades, Perú, 24 de abril de 2021. Salamanca, España: Grupo GRIAL, 2021. [Online].
Disponible en: [Link] doi: 10.5281/zenodo.4716246.
118. F. J. García-Peñalvo y A. García-Holgado, "Técnicas para llevar a cabo mapeos y revisiones sistemáticas de la literatura," presentado en Seminarios del Programa de Doctorado Formación en la Sociedad del
Conocimiento (3-6 de mayo de 2021), Salamanca, España, 2021. Disponible: [Link] doi: 10.5281/zenodo.4732089
119. F. J. García-Peñalvo, "Cómo hacer una Systematic Literature Review (SLR)," Plan de Formación del Profesorado de la Universidad Internacional de Valencia (17 y 21 de mayo de 2021), Salamanca, España,
2021. Disponible: [Link] doi: 10.5281/zenodo.4745223

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 274

Cita recomendada
F. J. García-Peñalvo, "Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades," Sociedad
Científica de Bibliometría y Cienciometría, 25 de mayo – 15 de junio de 2021. Salamanca, España: Grupo GRIAL,
2021. [Online]. Disponible en: [Link] doi: 10.5281/zenodo.4777633.

Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades 275

 Revisiones sistemáticas y meta-análisis en Ciencias
Sociales y Humanidades

Francisco José García-Peñalvo

Dpto. Informática y Automática
Instituto Universitario de Ciencias de la Educación
Universidad de Salamanca, Salamanca
fgarcia@[Link]
[Link]
[Link]
Online @frangp
25 y 27 de mayo – 1 y 15 de junio de 2021

This documento is licensed under a Creative Commons

Disponible en: [Link] Reconocimiento 4.0 Internacional License.