1

Validez de la
investigación:
Conclusión estadística,
interna, constructo y
externa
Bibliografía

 Balluerka, N. (2011). Planificación de la

investigación. La validez del diseño (2ª ed.
corregida). Salamanca: Amarú.
 Fontes, S., García, C., Garriga, A.J., Pérez-Llantada,
M.C. y Sarriá, E. (Eds.) (2001). Diseños de
investigación en Psicología. Madrid: UNED. Capítulo
6.

2
Concepto

 Objetivo de toda INVESTIGACIÓN CIENTÍFICA:

Realizar inferencias y obtener conclusiones
precisas, fiables y válidas.

Precisas Fiables Válidas

3
 Validez: Definición

Mejor aproximación posible a la veracidad de las

proposiciones (Campbell, 1957).
Las investigaciones serán más o menos válidas en
la medida en la que permiten distinguir sin ningún
tipo de error entre la hipótesis verdadera y las
Campbell falsas (Gottsdanker, 1978).
Grado de confianza que puede adoptarse sobre la veracidad de
la información obtenida en una investigación (Ato, 1991).
Grado en que una investigación presenta una fuerte
consistencia desde el punto de vista técnico (Arnau, 1990).
Grado en que el diseño de investigación nos permite obtener
conclusiones convincentes y verosímiles (Maxwell y Delaney,
1990). 5
 Validez: Categorización. Modelo de Cook y
Campbell

Validez de
conclusión
estadística Validez Validez de
interna constructo
de causas y Validez
efectos externa

6
Validez: Presentación del ejemplo

 Aunque nuestra asignatura se centra en el método

no experimental, el ejemplo que vamos a utilizar
para entender la categorización de la validez es
experimental.
 En una investigación se pretende investigar la
influencia de distintas metodologías docentes sobre
el rendimiento académico.
 ¿Cuáles son las variables núcleo de esta
investigación?
 ¿Cómo se os ocurre que se podría llevar a cabo la
investigación?

7
Validez de conclusión estadística

 O validez inferencial: Grado de confianza con que

podemos inferir o concluir que existe covariación
entre dos (o más) variables en base a pruebas
estadísticas de significación.
 Vinculado a la sensibilidad del diseño (potencia).

¿Estamos seguros de
que existe relación
entre las variables
metodología docente
y rendimiento?

8
Validez interna

 Grado de confianza que puede alcanzarse con

respecto a la existencia de una relación causal entre
X e Y, teniendo en cuenta la forma en que han sido
manipuladas y/o medidas operacionalmente las
variables.
 En una investigación pueden darse diversas
amenazas a la validez interna como la historia o la
maduración.

¿Realmente es la
Metodología docente de
un determinado tipo la que
provoca un mejor
rendimiento?

9
Validez de constructo de causas y efectos
 Grado de confianza con que podemos
establecer generalizaciones a constructos de
orden superior a partir de indicadores o de
definiciones operacionales tanto de variables
manipuladas como de variables medidas.
 Para conseguir una buena validez de constructo,
es importante, entre otros aspectos, realizar una
buena reflexión sobre la definición de los
constructos y determinar los indicadores
adecuados (manipulación y medida).
• Necesidad de
adaptación de
¿Qué tipo de
metodologías instrumentos que
docentes hemos provienen de otros
utilizado en el estudio? contextos culturales y/o
¿Cómo se ha evaluado
el rendimiento?
lingüísticos.
Ejemplo: WISC-V

10
Validez externa

 Grado de confianza con que una presumible

relación causal entre variables puede generalizarse
a otras personas, contextos y ocasiones diferentes
a los originalmente utilizados.

¿Podemos generalizar los

resultados a la población
de universitarios?

11
Cuestiones a las que responde cada tipo de
validez

 ¿Los resultados pueden explicarse única y exclusivamente

como consecuencia del tratamiento? ¿Pueden eliminarse las
hipótesis rivales?
 ¿Cuál es la magnitud del efecto y qué sensibilidad tiene el
estudio para detectar la covariación entre variables?
 ¿Pueden generalizarse los resultados a otros sujetos,
contextos y ocasiones diferentes a las del estudio original?
 ¿Cuál es el referente conceptual (constructo teórico) que
subyace al efecto?

12
VALIDEZ EXTERNA

 Hace referencia a la posibilidad de generalizar la

relación causal observada en un estudio más allá
de las circunstancias en las que se ha obtenido
esta relación:

 Generalización a la población de sujetos, contextos

y momentos temporales.
 Generalización mediante replicación con distintas
personas, contextos y ocasiones.

14
Generalización a la población de sujetos,
contextos y ocasiones

 Requiere definir claramente una población objetivo

y seleccionar aleatoriamente muestras
representativas.
 Nos permite comprobar si los objetivos de la
investigación se han cumplido en relación a
poblaciones específicas.
 Es difícil de conseguir debido a la dificultad de
utilizar extracciones muestrales aleatorias o
probabilísticas.

15
Generalización mediante replicación con
diferentes sujetos, contextos y ocasiones

 Se refiere a la posibilidad de generalizar los

resultados obtenidos mediante replicación con
diversas muestras.
 Proporciona información acerca de las distintas
subpoblaciones que han resultado afectadas por
los tratamientos.
 Es más fácil que la utilización de muestras
aleatorias (generalización “a” ).

16
1. Validez poblacional

 Posibilidad de generalizar los resultados a la población

objeto de referencia.
 Se basa en dos inferencias:
 Muestra Población accesible
 Población accesible Población referencia

Población de referencia

Población accesible

Muestra

17
2. Validez ecológica

 Se refiere a la posibilidad de generalizar los

resultados a otras condiciones ambientales.
 Existe v. ecológica cuando las condiciones de la
investigación se asemejan a las naturales.
 Control: Seleccionar ambientes representativos de
la población.

18
3. Validez histórica

 Grado en el que los resultados pueden

generalizarse a otros períodos del pasado y del
futuro.
 Control: replicar el experimento a lo largo de
distintos períodos u ocasiones temporales.

19
VALIDEZ DE CONCLUSIÓN ESTADÍSTICA

 CONCEPTO: Se centra en las inferencias respecto a

la presumible covariación entre dos (o más)
variables de acuerdo con un determinado nivel de
significación y en función de las varianzas
obtenidas, es decir, en la correcta inferencia de la
hipótesis a nivel estadístico (Vallejo, 1991).

20
VALIDEZ DE CONCLUSIÓN ESTADÍSTICA:
Conceptos importantes

 Significación estadística: asociada a la verificación

de una hipótesis. La inferencia está sometida a dos
tipos de errores:

 Error de tipo I (falsos

positivos)
 Error de tipo II (falsos
negativos)

21
VALIDEZ DE CONCLUSIÓN ESTADÍSTICA:
Conceptos importantes

 Alpha (): Probabilidad que corresponde al error de

tipo I.
 Error de tipo I: Rechazar la hipótesis nula cuando
esta hipótesis es verdadera.

 Beta (): Probabilidad que corresponde al error de

tipo II.
 Error de tipo II: Aceptar la hipótesis nula cuando
esta hipótesis es falsa.

22
VALIDEZ DE CONCLUSIÓN ESTADÍSTICA:
Conceptos importantes

 Nivel de confianza (1- ): Probabilidad de no

rechazar una hipótesis nula cuando ésta es
verdadera.
 Potencia (1-): Probabilidad de rechazar la hipótesis
nula cuando ésta es falsa o de aceptar la hipótesis
alternativa siendo ésta verdadera.
 Tamaño del efecto: Magnitud de la diferencia entre
dos (o más) condiciones experimentales expresada
en una métrica común para diferentes medidas y
estudios.
 Desviación típica: Medida de la variación o
variabilidad de las puntuaciones respecto de la
media. 23
VALIDEZ DE CONCLUSIÓN ESTADÍSTICA:
Conceptos importantes

H0 verdadera H0 falsa
Aceptar H0
DECISIÓN
Rechazar H0

24
 Tamaño del
efecto
Posibilidad de (diferencia entre
detectar ambas condiciones)
Variabilidad
covariación
(Comparación de relativa
Magnitud
grupos) varianza
error
(variabilidad dentro
de los grupos)

25
 EJEMPLO 1
Albergue de
Santo Domingo
A B de la Calzada
A B
A B
A B
A B
26
 EJEMPLO 1
Albergue de
Santo Domingo
A B de la Calzada
A B
B A
A B
A B
27
 EJEMPLO 1
Albergue de
Santo Domingo
A B de la Calzada
A B
A B
A
B
A B
28
 EJEMPLO 2

Calificación metodología Calificación metodología

tradicional activa

7 8
7 8
7 8
7 8
Media=7 Media=8
29
 EJEMPLO 2

Calificación metodología Calificación metodología

tradicional activa

8 9
6 7
5 10
9 6
Media=7 Media=8
30
 EJEMPLO 2

Calificación metodología Calificación metodología

tradicional activa

4 10
6 8
7 7
3 11
Media=5 Media=9
31
AGENTES DE VARIABILIDAD

 Muestreo
 Procedimiento de investigación
 Medición
 Otros

32
Cuestiones básicas a las que responde la
validez de conclusión estadística

1. ¿Existe una razonable evidencia empírica para

inferir la presumible covariación de causa y efecto?

 ELECCIÓN DE PRUEBAS ESTADÍSTICAS. Criterios

objetivos para la elección:

 Potencia estadística de la prueba

 Modelo estadístico postulado (supuestos)

33
Cuestiones básicas a las que responde la
validez de conclusión estadística

Hay 2 tipos de pruebas estadísticas:

 Paramétricas:
Tienen más potencia
Deben cumplir supuestos más estrictos

 No paramétricas:
Tienen menos potencia
Deben cumplir supuestos menos estrictos

34
Cuestiones básicas a las que responde la
validez de conclusión estadística

2. En caso de que exista evidencia empírica, ¿cuál es

la magnitud o el grado de covariación entre las
variables?

 TAMAÑO DEL EFECTO

35
AMENAZAS A LA VALIDEZ DE
CONCLUSIÓN ESTADÍSTICA

36
Amenazas a la validez de conclusión
estadística

1. Transgresión de los supuestos del modelo estadístico

A. Escala cuantitativa
B. Normalidad
C. Homocedasticidad
D. Independencia entre las observaciones

2. Escasa potencia de la prueba estadística

3. Tamaño del efecto
4. Tamaño de la muestra
5. Tasa de error de tipo I
6. Baja fiabilidad y validez de la medida de la variable dependiente
7. Presencia de puntuaciones “outliers”
8. Presencia de valores “missing”

37
1.- Trasgresión de los supuestos del modelo
estadístico (datos paramétricos)

Normalidad de la
Escala
distribución de las
cuantitativa en la
puntuaciones de
VD
la VD

Homocedasticidad
Independencia de
/Homogeneidad
las observaciones
de varianzas

38
A.- Escala cuantitativa

Al medir las variables dependientes del estudio se pueden

utilizar distintas escalas de medida:
- Escala categórica: Solo se puede establecer igualdad-
desigualdad entre las categorías. (Tipo de apego:
seguro, ambivalente, evitativo, desorganizado). No
cumple el supuesto.
- Escala ordinal: Además, se puede establecer un orden
entre las categorías. (Nivel de depresión: normalidad,
caso probable de depresión, caso de depresión). No
cumple el supuesto.
- Escala de intervalo: Además, se puede establecer
igualdad-desigualdad entre intervalos. (Nivel de
autoestima: puntuaciones 20-100). Cumple el supuesto.
- Escala de razón: Además, se puede establecer igualdad
desigualdad de razones o proporciones. (Tiempo de
reacción). Cumple el supuesto.
39
B.- Supuesto de normalidad
Supone que las puntuaciones de la VD siguen una
distribución normal. Afecta a la probabilidad de
cometer error de tipo II.
Comprobación del supuesto de normalidad:
 Test de Shapiro-Wilk (n < ó = 50)
 Prueba Kolmogorov-Smirnov (n>50) y corrección de
Lilliefors cuando  y 2 son desconocidas.
 Representaciones gráficas como p.e. gráfico de
probabilidad normal P-P plot.

40
 Ejemplo prueba de normalidad (software SPSS)

Variable dependiente: Tiempo de reacción

Kolmogorov-Smirnovª Shapiro-Wilk

Tiempo Estad. gl Sig. Estad. gl Sig.

reacción 14,02 32 0,045 15,01 32 0,041

ª Corrección de la significación de Lilliefors

K-S(32) = 14,02; p = 0,045 S-W(32) = 15,01; p = 0,041

No cumple el supuesto. 41
C.- Homocedasticidad

Supone que las varianzas de las puntuaciones de la

VD son homogéneas en los grupos a comparar.
Afecta a la probabilidad de cometer error de tipo I y a
la potencia de la prueba.
Comprobación del supuesto de homocedasticidad:
 Prueba de Hartley.
 Prueba de Cochran.
 Prueba de Bartlett.
 Prueba de Levene: La más robusta ante el
incumplimiento de la normalidad.

42
Ejemplo prueba de Levene (software SPSS)

Contraste de Levene sobre la igualdad de las

varianzas de error.
Variable dependiente: Tiempo de reacción

F gl1 gl2 Sig.

2,96 3 28 0,054

FLevene(3, 28) = 2,96; p = 0,054. Cumple el

supuesto.
43
D.- Supuesto de independencia entre las
observaciones

Ausencia de correlación entre las observaciones.

Su incumplimiento afecta al nivel de significación y a
la potencia de la prueba. Se ha demostrado
incremento en las tasas de error de tipo I y II.
Comprobación del supuesto de independencia entre
las observaciones:
 Prueba Durbin-Watson (valor 1,5-2,5).
 Pruebas de esfericidad en diseños intrasujetos
(Pruebas Mauchly, Box).

44
Algunas soluciones ante las infracciones de los
supuestos paramétricos

 Detección y corrección de valores outliers:

Eliminación del caso, transformación de los datos,
cambio de la puntuación.
 Soluciones a la no normalidad y heterocedasticidad:
– Transformación de datos: logarítmica, raíz cuadrada,
recíproca, etc.

45
2.- Escasa potencia de la prueba estadística

 Potencia (1-): Complementaria al error de tipo II.

Probabilidad de rechazar la H0 cuando es falsa.
 Depende del tamaño del efecto, de  y del tamaño
muestral.
 La variabilidad de las observaciones (v. error)
(fiabilidad V.D., heterog. muestra) incide en la
potencia.

46
Análisis de la potencia

 Se pueden realizar análisis de potencia a priori o a

posteriori.
 Estrategia que examina las relaciones entre:
 Tamaño del efecto
 Error de tipo I ()
 Error de tipo II ()
 Tamaño muestral

47
3.- Tamaño del efecto

 Grado en que el fenómeno objeto de estudio se

halla presente en la población o grado en que la
hipótesis nula es falsa (Cohen, 1988).
 Magnitud de la diferencia entre condiciones (Kazdin,
1992).
 Índices estandarizados.

48
Estimaciones del tamaño del efecto

 Diferencias entre medias estandarizadas: d de

Cohen, d’ de Glass, g de Hedges, etc. Cohen (1988)
propone los valores de 0,20, 0,50 y 0,80 como
valores pequeño, medio y grande para interpretar la
diferencia entre medias estandarizada.
 Porcentaje de varianza explicada: r2, R2, 2 (eta2), 2
(épsilon2) y 2 (omega2). Los valores oscilan entre 0
y 100.

49
Decisiones acerca del tamaño del efecto

 Comparación con tamaños del efecto

convencionales asociados a las pruebas más
utilizadas en ciencias del comportamiento.
 Confusión entre magnitud del efecto y su relevancia
sustantiva o significación práctica.

50
Principales factores con los que se relaciona el
tamaño del efecto

 Si realizamos múltiples
estudios manteniendo
constantes  y N: Habrá
una relación directa
entre tamaño del efecto
y potencia.
 Si realizamos múltiples
estudios manteniendo
constantes  y :
Cuanto mayor sea el
tamaño del efecto,
menor N necesitaremos
para detectar dicho
efecto.

51
 4.- Tamaño de la muestra

Importancia respecto a la potencia estadística y a la estimación

del tamaño del efecto.
 Cuanto más restrictivo es , mayor N es necesaria para detectar
un efecto.

 Si deseamos obtener
mayor potencia
estadística, necesitamos
incrementar N.
 El número necesario de N
disminuye a medida que
aumenta el tamaño del
efecto.

52
5.- Tasa de error de tipo I

 Incrementa a medida que aumenta el número de

comparaciones entre .
 Procedimiento para ajustar la tasa de error:
Comparaciones no planificadas a posteriori o post
hoc (HSD de Tukey, Scheffé, etc.).

53
6.- Baja fiabilidad y validez en la medida de la
V.D.

 Incremento de los errores experimentales:

Potencia
Varianza de error
Error tipo II β

54
7.- Presencia de puntuaciones “outliers”

 Pueden deberse a:
 Errores al registrar los datos
 Algunas observaciones son realmente diferentes al resto

 Estrategias de control:
 Corregir el dato (si es un error de registro)
 Eliminarlo (si es un error en los instrumentos)
 Utilizar la mediana como MTC (Medida de tendencia central)
 Utilizar estimadores robustos (medias recortadas y varianzas
winsorizadas).
 Realizar dos análisis: incluyendo y eliminando estos valores

55
8.- Presencia de valores “missing”

 Disminución del tamaño muestral.

 Problemas de representatividad de la muestra por
pérdida de sujetos.
 Estimar el valor promedio que le corresponde al
valor omitido a partir del resto de las puntuaciones
(imputación).

Ejercicios validez
56 de
conclusión estadística