Capítulo 3.

VALIDEZ DE LAS CONCLUSIONES DE LA INVESTIGACIÓN

3.2 EL ANÁLISIS DE LA VALIDEZ: COMPONENTES Y AMENAZAS

El análisis de la validez de las conclusiones de una investigación es un juicio sobre el grado de
seguridad con el que una inferencia se puede considerar cierta por estar basada en evidencias
relevantes. No son absolutos.

Se identifican como amenazas por sus posibles consecuencias, ya que pueden provocar que el
investigador obtenga conclusiones equivocadas sobre la relación entre las variables
estudiadas, su naturaleza o sobre su generalización a los constructos teóricos.
El análisis conceptual de la validez y posibles amenazas es importante para el investigador y
tiene doble función de:
1.​ Ayudar al investigador a resolver problemas que pueden limitar la validez de sus
conclusiones. El investigador puede anticipar las amenazas, puede introducir controles
que minimicen la posibilidad de que ocurra o incluir estrategias complementarias.

2.​ Desarrollar nuestra capacidad crítica, tanto para extraer conclusiones correctas como
para valorar, en la lectura de artículos o informes, la adecuación y alcance de las
conclusiones de esos trabajos.

Según la sistematización original de Cook y Campbell (1979) y, teniendo en cuenta las

aportaciones de la revisión posterior de Shadish, Cook y Campbell (2002) identifican 4
componentes de la validez, estrechamente relacionados entre sí. Se plantea el análisis de la
validez de una investigación en función del grado de seguridad de sus conclusiones sobre:
a)​ la relación entre las variables estudiadas (validez de conclusión estadística)
b)​ la naturaleza causal de dicha relación (validez interna)
c)​ su utilidad para el conocimiento sobre los constructos teóricos (validez de constructo)
d)​ sus posibilidades de generalización a otras poblaciones/situaciones (validez externa)

3.2.1 Validez de constructo

Para ser sometidas a comprobación empírica las hipótesis tienen que incorporar los
constructos definidos de forma operativa (traducidos en indicadores observables/medibles).

Las conclusiones de estos estudios serán + útiles si la info que proporcionan sus resultados se
puede conectar con los conceptos y argumentos del modelo teórico, para reforzar la teoría o
ponerla en cuestión e, incluso, a través de ella, poder extraer aplicaciones prácticas.

Constructos: conceptos abstractos no observables directamente, pero que podemos inferir de

manera indirecta a través de situaciones que nos pueden informar de su presencia y de su
grado/magnitud.
Una correcta definición exige una adecuada comprensión y explicación del constructo en su
complejidad, que permita desarrollar indicadores del constructo e, incluso, elaborar
instrumentos para su evaluación y medida.

El logro de la adecuada delimitación conceptual de un constructo depende del acierto del

investigador en su análisis y decisiones y del grado de avance de la propia teoría y de la
acumulación de evidencia científicas sobre el concepto que esta haya logrado.

Los datos obtenidos con la aplicación del test se consideran medidas de creatividad de las
personas evaluadas, y los resultados de los estudios que lo hayan utilizado habrán contribuido
a enriquecer nuestro conocimiento sobre la creatividad y su relación con factores de
personalidad, cultura, educación… en la medida en que ese constructo haya sido hecho
operativo correctamente a través de ese test.

Validez de constructo de un estudio, valora la posibilidad de extraer de los resultados

obtenidos conclusiones aplicables a los constructos generales que hemos tratado de estudiar a
través de las situaciones concretas elegidas. (variables, condiciones, formas de medida)

Depende del acierto del investigador en las decisiones de cómo concreta operativamente los
constructos de su problema de estudio, y ese acierto, depende, en inicio de la correcta
comprensión de los constructos, de la delimitación del constructo dentro de la teoría y en su
relación con otros conceptos. Los pilares básicos de la validez de constructo son: una buena
comprensión y explicación de los constructos implicados y la adecuación de su forma de
evaluación.

3.2.1.1 Amenazas a la validez del constructo

Se consideran amenazas a la validez de constructo de un estudio la inadecuada comprensión
y definición de los constructos y la inadecuación de su evaluación
Otra fuente de problemas que pueden limitar el valor de las conclusiones de un estudio, como
contribución al conocimiento sobre un constructo, está relacionada con el hecho que buena
parte de la investigación psicológica se realiza con humanos, y estos, al ser conscientes de su
participación, pueden modificar su respuesta por reactividad a la propia situación de estudio.

El simple hecho de estar participando en una investigación de sentirse observados/evaluados,

puede producir reactividad y llevar a los participantes a comportarse de forma diferente a
como lo harían en la realidad natural. Sus respuestas no solo dependen de la influencia de la
variable manipulada, sino de su propia percepción de la investigación. Su comportamiento
puede verse influido por su adivinación de la hipótesis o las características de la demanda que
infieren de la condición experimental que les ha correspondido.
-​ Deseabilidad social: cuando los participantes ocultan sus verdaderas ideas o inhiben
su comportamiento para intentar ajustarse a lo que consideran socialmente adecuado.
 Sus respuestas tambien pueden estar influidas por las expectativas del experimentador, que
puede transmitir de forma no intencional, los resultados esperados. Entre las
recomendaciones + habituales para evitar que la reactividad se convierta en una amenaza a la
validez están:
a)​ planificar al max todos los aspectos de info y contacto con los participantes en el
procedimiento.
b)​ reducir al mínimo las interacciones del investigador con los participantes
c)​ evitar evaluaciones pretratamiento innecesarias que puedan dar pistas a los
participantes de los objetivos y hipótesis del estudio
d)​ utilizar grupo control con placebo, cuando sea posible
e)​ utilizar los procedimientos ciego (desconocimiento de objetivos y condiciones de la
investigación de los participantes) y doble ciego (desconocimiento del participante y
del experimentador que interactúa con el)

Aunque la reactividad se considera una amenaza a la validez de constructo de las

conclusiones, puede serlo también para la validez interna del estudio, especialmente si afecta
de forma diferente a los participantes de unas u otras condiciones experimentales.
El adecuado control de las amenazas relacionadas con la reactividad es importante para
asegurar tanto la validez del constructo como la interna del estudio.

Amenazas Definiciones

Inadecuada El fallo en la comprensión/definición del constructo puede llevar a no

comprensión y considerar aspectos relevantes para su estudio o a hacer inferencias
definición de los completas.
constructos

Inadecuación de la La elección de indicadores incorrectos del constructo puede llevar a hacer

evaluación de los inferencias incorrectas al considerar las conclusiones del estudio como
constructos conocimientos sobre el constructo.

Reactividad de los Si las respuestas están influidas por sentirse observados, de su percepción
participantes de la situación o su intento por adecuarse a lo que entienden como
respuestas deseables, se contaminan los resultados y se pueden llegar a
inferencias incorrectas sobre el constructo.

3.2.2 Validez interna

El concepto de validez interna (Cook y Campbell 1979) está ligado a la idea de causalidad, bajo
el supuesto de que la capacidad explicativa de una ciencia será mayor en la medida en la que
pueda llegar a identificar las relaciones causales en su análisis de los fenómenos.
La valoración de la validez interna de las conclusiones de un estudio se basa en el grado de
seguridad que proporciona el estudio para poder concluir que la relación detectada entre las
variables refleja una relación de causalidad.
El análisis de la validez interna de las conclusiones de una investigación sólo tiene verdadero
sentido en el análisis de estudios que tengan el propósito de extraer conclusiones de relación
de causalidad entre las variables estudiadas (en los experimentos/cuasiexperimentos)

3.2.2.1 Amenazas a la validez interna

Se anticipan problemas que podrían afectar negativamente a la seguridad de las conclusiones
sobre la relación causal de las variables y que podemos tratar de evitar aplicando
procedimientos de control que los neutralicen.
1)​ Si no hay seguridad sobre que variable ocurre antes que la otra, aunque detectemos
que están relacionadas, no podremos identificar cual de ellas es la causa y cual refleja
el efecto. Sin embargo en los estudios en los que la variable no es manipulable no se
puede garantizar esta contingencia temporal. Se produce, entonces, una importante
amenaza a la validez interna por la ambigüedad de la contingencia
antecedente-consecuente.

2)​ Si existen diferencias sistemáticas en las características de los participantes previas a la

aplicación del tratamiento, estas podrían explicar las diferencias posteriores
encontradas y confundirse con el efecto del tratamiento. Las conclusiones del efecto
de la VI se basan en la comparación de resultados obtenidos en la VD de grupos
participantes sometidos a la influencia de la VI en condiciones distintas; por tanto
estos grupos deben ser lo más parecidos posible para poder concluir que las
diferencias encontradas en la VD se deben a la influencia de la VI y no a diferencias
previas existentes. Si no podemos garantizar la equivalencia inicial de grupos, la
validez de las conclusiones será cuestionable por la selección diferencial de grupos.

3)​ Aunque hayamos organizado los grupos aplicando técnicas de control que garanticen
su equivalencia inicial, si en el transcurso del estudio hay pérdida de de participantes,
esta puede generar efectos que se confundan con el efecto del tratamiento. El riesgo
que plantea la pérdida de participantes como amenaza a la validez interna es que esta
pérdida afecte de manera selectiva a algunas de las condiciones experimentales. En el
caso de los diseños intragrupo, la aplicación secuencial de todas las condiciones
experimentales a los mismos participantes puede generar riesgos de abandono por
aburrimiento o complicaciones sobrevenidas que interrumpan su participación y que
esta pérdida de info afecte - a algunas condiciones que quedaron pendientes de
aplicar.

4)​ Si los participantes son seleccionados porque presentan valores extremos en la

medida de una variable, pueden presentar de forma natural puntuaciones - extremas
en una segunda medición, este cambio puede confundirse con el efecto de
tratamiento. (regresión a la media). Para evitar la confusión recomiendan no realizar
 la selección de participantes basándonos en sus puntuaciones extremas en una sola
medida, sinó hacer 2.

5)​ Si se producen cambios en la forma de medir la VD o en la precisión de las medidas,

que afecten diferente a las condiciones de tratamiento, esos cambios pueden
confundirse con el efecto del tratamiento. Esta amenaza se conoce como
instrumentación. Si los fallos en la forma de aplicación o en la precisión de medidas
afectan diferente a las distintas condiciones experimentales del estudio, su efecto se
confundirá con los efectos del tratamiento y puede llevar a extraer conclusiones
erróneas sobre la relación entre la VI y la VD. (amenaza a la validez interna,
instrumentación), es evitable si aseguramos que la medición de la VD se realiza de
forma sistemática y precisa.

6)​ Acontecimientos externos que ocurran de forma simultánea a la aplicación del

tratamiento (VI) podrían tener efectos que se confundieran con los efectos del
tratamiento. Ciertos acontecimientos si pueden influir en la VD, se convierten en VE
cuyo efecto puede contaminar los datos (historia)

7)​ Los cambios psicobiológicos que se producen de forma natural con el paso del tiempo
pueden confundirse con los efectos del tratamiento Maduración, la más probable en
los estudios de larga duración, en especial cuando los participantes están en etapas
evolutivas de cambios notables, en los que el paso del tiempo provoca cambios
biológicos y psicológicos que pueden reflejarse en la VD y confundirse con el efecto de
la VI.

8)​ La aplicación de una prueba puede alterar las puntuaciones que se obtengan en
administraciones posteriores de esa misma prueba, este efecto puede confundirse con
el efecto de tratamiento. En det estudios se realiza la evaluación de la VD en varias
ocasiones, y esta repetición de pruebas puede convertirse en una amenaza a la
validez interna en la medida en que pueda generar una sensibilización. Esta amenaza
puede estar ligada a la aplicación de medidas pre y post tratamiento, es decir, a la
aplicación de una prueba que mida la VD antes que la aplicación del tratamiento, para
comprobar la equivalencia de los grupos o de poder obtener info del cambio que
produce el tratamiento.

9)​ Por último hay que tener en cuenta que el impacto de estas amenazas puede ser
aditivo o de interacción y su efecto de confusión con la VI puede variar según su
combinación.
3.2.3 Validez de la conclusión estadística
Seguridad de las inferencias estadísticas sobre la relación entre las variables; sobre si las
variables del estudio covarían y sobre la fuerza de esa covariación. Estas inferencias se
realizan a través del análisis estadístico de los datos y la seguridad de los resultados de esos
análisis dependerá de la calidad de las medidas que tengamos y la adecuación y potencia de
las técnicas estadísticas utilizadas.

Si las medidas obtenidas no son fiables y las técnicas estadísticas aplicadas no se adecúan a la
naturaleza de los datos, los análisis estadísticos pueden concluir incorrectamente que las
variables covarían cuando no lo hacen (Error Tipo I) o que no covarían cuando sí que lo hacen
(Error Tipo II) ; y también pueden valorar incorrectamente la magnitud/fuerza de esa
covariación , porque la sobreestimen o la infraestimen.

3.2.3.1 Amenazas a la validez de conclusión estadística

Destacamos la validez de conclusión estadística: errores de medida, restricción de rango de
variabilidad de las variables, aplicación de pruebas estadísticas inadecuadas y baja potencia
estadística.
-​ Errores de medida: debilitan la capacidad de los análisis para detectar correctamente
las covariaciones de las variables. Incluso aunque estos errores se repartan de forma
aleatoria y nos afecten diferente a unas u otras condiciones introducirán <<ruido>> en
los datos, que dificultará la obtención de resultados significativos. Se recomienda el
uso de instrumentos de medida con calidad métrica comprobada, que nos garanticen
la fiabilidad de los datos.

-​ Restricción del rango de variabilidad: Si los valores que presentan las variables están
restringidos a un rango de variabilidad muy pequeño se puede ver afectada
negativamente la potencia estadística de las pruebas, dificultando que se detecten las
covariaciones entre variables.
-​ Efecto suelo: cuando todos los participantes presentan en sus puntuaciones los
valores más bajos de la VD o muy cercanos a ellos.
-​ Efecto techo: cuando todos puntúan entorno a los valores máx. de la VD.

Con la realización de estudios pilotos previos, con solo algunos participantes aplicando
los instrumentos de medida previstos, se puede detectar estos posibles efectos, así el
investigador puede tomar decisiones a tiempo para que no afecten al estudio.

-​ Inadecuación de las pruebas estadísticas: Las pruebas estadísticas aplicadas deben

ser las adecuadas a la naturaleza de los datos obtenidos. Para su elección, debemos
tener en cuenta los objetivos y características del estudio, y también aspectos como el
nivel de medida de las variables, que los datos cumplan con det supuestos que exigen
algunas pruebas y la independencia o dependencia de los datos.
 -​ Baja potencia estadística: Un estudio con baja potencia estadística puede llevarnos a
concluir erróneamente que no hay relación significativa entre las variables. La potencia
estadística se refiere a la capacidad de una prueba estadística para detectar en los
datos de un estudio la covariación entre las variables.
Si el tamaño de la muestra es pequeño, disminuye la potencia estadística y es mayor la
dificultad para que el resultado del análisis estadístico informe de la relación o
covariación de las variables de estudio.

3.2.4 Validez externa

El análisis de la validez externa de un estudio pretende responder a la pregunta ¿En qué
medida se puede generalizar la relación entre las variables a otras personas, situaciones o
medidas distintas? Un estudio tendrá más validez externa en la medida en que la muestra de
participantes represente adecuadamente a la población básica a la que queremos generalizar
los resultados, y que la situación planteada sea una buena representación de las situaciones
reales en las que se produce el fenómeno en estudio.

La estrategia + adecuada para conseguir una muestra representativa, es utilizar técnicas de

muestreo probabilístico. Conseguir este muestreo no es facil, ya que supone tener delimitada
la población de interés y tener acceso a la info básica de cada uno de sus miembros para
seleccionar aleatoriamente a los que participan en el estudio.

Tal como señala Shadish et al. (2002), el muestreo probabilístico no es la única forma de
muestreo útil para sustentar la generalización de resultados y conclusiones.
-​ Muestreo a propósito/teórico/por juicio experto: se pretende que la muestra de
participantes esté compuesta por casos seleccionados en función de que posean det
características relevantes en relación con los objetivos del estudio.
-​ Muestreo por conveniencia/accesibilidad: es más limitado para la generalización.

Los principales riesgos para la validez externa de una investigación están en que la selección
de la muestra de participantes, el diseño de la situación del estudio o la forma de medida de
las variables tengan unas características de particularidad que puedan generar una
interacción específica con la intervención o tratamiento cuyo efecto se quiere evaluar.

3.2.4.1 Amenazas a la validez externa

Interacción del tratamiento con la composición de la muestra: se considera que las
conclusiones de una investigación tienen baja validez externa poblacional cuando falla la
representatividad de la muestra respecto a la población, especialmente cuando los resultados
obtenidos reflejan una realidad particular propia de la muestra, pero no necesariamente
previsible si hubiéramos utilizado otra muestra diferente, por lo que no pueden generalizarse
a la población de interés.
Interacción del tratamiento con la situación de estudio: Configurar el diseño de un estudio
que permita manipular la VI y eliminar el riesgo de contaminación de los resultados por la
influencia de las VE, nos puede llevar a plantear situaciones <<artificiales>> que se alejen
mucho de las situaciones reales en las que se da el problema o el fenómeno de interés.
Esta artificialidad puede ayudar a generar datos seguros en cuanto a la relación entre las
variables, pero singulares de esa situación, limitados a ese contexto e el que se han obtenido
y con difícil generalización a los contextos reales. Esto limitaría la validez externa ecológica de
las conclusiones del estudio.

Este riesgo es + probable en estudios experimentales, pero se puede dar también otras
formas de investigación. Son diversos factores del contexto de la investigación que pueden
llegar a obtener resultados singulares fruto de la interacción del tratamiento con las
características particulares de la situación del estudio.

3.3 RELACIÓN ENTRE VALIDEZ Y MÉTODO

La validez no es cuestión de todo o nada, sinó de grados. Los componentes complementarios
están relacionados entre sí, pero con ciertas posibilidades de colisión, de forma que resulta
difícil de lograr en un mismo estudio un grado máx en todos los componentes de la validez.

La manipulación de la VI y la aplicación de recursos de control experimental permite

descartar, en su correcta aplicación, buena parte de las amenazas de la validez interna; al
mismo tiempo, esos procedimientos pueden llevar a situaciones artificiales de estudio que
limiten la validez externa ecológica de sus conclusiones.
Los diseños cuasiexperimentales tienen limitadas las posibilidades de control, su grado de
validez interna tiende a ser menor que la alcanzable con un estudio experimental.
En los estudios de encuesta, su procedimiento esta lejos de poder obtener conclusiones de
relaciones causa-efecto en la info que obtienen, pero otorgan gran importancia a la
representatividad de la muestra.

Si bien el análisis de la validez de constructo, de conclusión estadística y de validez externa

puede tener sentido en el análisis de las conclusiones de cualquier investigación, el análisis de
la validez interna solo tiene verdadero sentido en aquellos estudios que tengan la pretensión
y condiciones de hacer inferencias de relaciones de causalidad entre las variables estudiadas,
es decir, en los experimentos o cuasiexperimentos.

Es importante tener en cuenta que la validez no depende solo del tipo de diseño planteado,
sino del acierto de las decisiones del investigador y de la adecuación de los procedimientos.
Un miso diseño puede aportar resultados y conclusiones + o - válidas dependiendo de las
condiciones y la calidad del estudio realizado.