Validez
Definiciones de validez
Validez es un juicio evaluativo general del grado en
la evidencia emprica y terica apoyan la adecuacion
y lo apropiado de las interpretaciones y acciones
basadas en los puntajes de un test o de otras formas
de evaluacion (Messick, 1995)
Validez es una propiedad de las inferencias que se
hacen a partir de los puntajes de un test. (Cronbach,
1971)
Validez psicomtrica es : Con qu confianza los
puntajes obtenidos de la medicion pueden ser
interpretados como representantes de diferentes
niveles la caracterstca especificada? (Guion, 1998)
Concepto de Validez
Validez aparente
Lo que un test parece medir
Transparencia
Honestidad?
Vision Tripartita
Contenido
De Criterio, concurrente o predictiva
Constructo
Validez de Contenido
Adecuacin de la eleccion de los estmulos
El grado en que los contenidos de un test reflejan el
dominio de interes.
Que tanto se puede extender la generalizacion que
se hace a partir de una coleccion de items particular
a todos los items posibles en un dominio mas
amplio.
Validez de Contenido
Cmo se establece?
Procedimientos de muestreo de estmulos
Ej. Items seleccionados al azar del dominio
Anlisis lgico de los contenidos del test durante
su desarrollo
Hecho por quien desarrolla el test
es imposible escribir items si no se tiene
primero una conceptualizacin del atributo
del que sern indicadores (McDonald,
1999)
Validez de Contenido
Como se establece? (cont.)
Por los usuarios del test
Ej., opiniones de expertos
Lawshes Content Validity Ratio
(Indice de validez de contenido de Lawshe)
SMEs (Matter experts raters) hacen un
juicio sobre si un item es o no esencial
CVR (content validity ratio) =
(ne N/2) / (N/2)
CVI (content validity index)= El promedio de
todos los CVR
Evidencia de consistencia interna de los items
Correlaciones de validez convergente con otras
medidas
Asertividad
Asertividad
con la
familia
Asertividad
con los
amigos
Asertividad
con los
extranjeros
Asertividad
con los
comp de
trabajo
Asertividad
con los
hombres
Asertividad
con jefes
Asertividad
con las
mujeres
Validez de Contenido
Universo de conductas
Items
Validez de Criterio o concurrente
Que es un criterio?
El estandar contra el que un test o puntaje de un
test es evaluado / contrastado.
Caracteristicas de un criterio
Relevante
Valido
No contaminado
Contaminacion
Notas del
profesor
Efecto Pigmalion
Parcializa las
evaluaciones
Puntajes reales
Evaluaciones del
profesor
Rendimiento
verdadero del curso
Validez de Criterio
(alias Validez predictiva)
Establecer que los puntajes de un test se relacionan
con un estandar externo
Importante pero limitada en alcance :
Ninguna cantidad de teora que suene bien puede
sustituir la falta de correlacion entre un predictor y un
criterio (Nunnally & Bernstein, 1994)
la validez predictiva representa un tema muy
directo, simple pero limitado en la generalizacion
cientifica, que se relaciona con cunto puede uno
generalizar los puntajes en una variable los puntajes
en otra (Nunnally & Bernstein, 1994)
Como se calcula?
Establecer una relacion emprica entre el predictor y
el criterio : coeficiente de validez
Concurrente - Predictiva
Se requiere recolectar datos del criterio
Despues de un periodo de tiempo razonable se
pueden utilizar estos datos para el calculo
Validez Ampliada
Datos de expectabilida
Coeficiente de Validez
Predictor
Puntaje PSU
Criterio
Exito del
estudiante
El problema del criterio
La validacion predictiva asume el criterio como
dado, lo que es diferente de la validacion del
constructo (Nunnally & Bernstein)
Confiabilidad del criterio
Deficiencias del criterio
Contaminacion del criterio
Restriccion del rango
Agotamiento del estudio
El problema del criterio
Desempeo
verdadero
en el trabajo
Deficiente
Confiabilidad
Medida del
Desempeo en el trabajo
Contaminacion
Restriccion
Del rango
Validez de criterio
Validez Ampliada
El grado en el que un predictor adicional
explica algo acerca del criterio que no es
explicado por los predictores en uso
Rendimiento
del estudiante
NUESTRA
MEDICION
Puntaje PSU
Entrevista
personal
NEM
Validez de criterio
Validez Ampliada
El grado en el que un predictor adicional
explica algo acerca del criterio que no es
explicado por los predictores en uso
Rendimiento
del estudiante
Puntaje PSU
NUESTRA
MEDICION NEM
Entrevista
personal
Validez de criterio
Validez Ampliada
El grado en el que un predictor adicional
explica algo acerca del criterio que no es
explicado por los predictores en uso
NUESTRA
MEDICION
Rendimiento
del estudiante
Puntaje PSU
Entrevista
personal
NEM
Validez de criterio
Datos de expectabilidad
Tablas de expectabilidad
Validez de criterio
PFB
TABLAS DE PROBABILDADES DE RENDIMIENTO EN
LECTURA Y ESCRITURA EN PRIMERO Y SEGUNDO AO
BASICO.
PRIMER AO BASICO LECTURA
A partir del Puntaje del SubTest COORDINACION VISOMOTORA
Validez de Constructo
Evidencia de que una variedad de conductas
correlacionaran
en
estudios
de
diferencias
individuales y / o se vern afectadas de forma similar
por las manipulaciones experimentales.
Existe la variable? La validez de constructo es un
tema central en las disciplina.
La medida debe mostrar los patrones de relacion
esperados con otras variables (red nomolgica)
Las interpretaciones de los puntajes deben ser
iguals aunque se utilicen diferentes pruebas? Que
tan dignas de confianza son las interpretaciones de
los puntajes?
Tres aspectos centrales en la Validez de
constructo
Especificar el dominio de
relacionados con el constructo
Probar empricamente
observables.
la
los
relacin
observables
entre
los
Llevar a cabo estudios de diferencias individuales
y/o experimentos para determinar la medida en
que dichas medidas son consistentes con las
hiptesis a priori.
Cmo se establece?
Anlisis interno de items o de relaciones entre
subtest.
Anlisis de Item
Homogeneidad
Uso de anlisis factorial
Anlisis factorial exploratorio / confirmatorio
Carga Factorial / Identificacion de factores
Diseos de validacin predictiva
Diferencias de grupo (grupos conocidos)
Cmo se establece?
Correlaciones entre medidas
Validez convergente y discriminante
MTMMs (Multitrait - multimethod)
Cambios
En el tiempo
Despues de la intervencin experimental.
Validez y sesgo
La definicion de Sesgo
Un
factor
inherente
al
test
que
evita
sistemticamente una edicion precisa e imparcial.
Variacion Sistemtica vs azarosa
Sesgo de test
Tres caractersticas
regresin
de
La Inclinacion
La interceptacion
El error de estimacion
las
lineas
de
La Inclinacin
Hombres
DV
Mujeres
IV
Sesgo de Interceptacion
Hombres
Females
DV
IV
Error de Estimacion
Hombres
DV
Mujeres
IV
Sesgo
Diseo del estudio de investigacion
Pocos participantes de minoras
Validez y sesgo del test
Error de puntuacin
El uso inadecuado de la escala ya sea intencional
o accidental
Clemencia
Severidad
Tendencia central
Rankings
Procedimiento que requiere que el
evaluador compare a los sujetos unos
contra los otros.
Validez y sesgo del test
Error de evaluacin
Efecto de Halo
La tendencia a darle a un evaluado una
puntuacin diferente a la que debiera obtener
debido a la dificultad del evaluador para
discriminar entre las caractersticas reales de
un sujeto y las que debiera tener de acuerdo a
la definicion que se hace sobre algunas de sus
caractersticas.
Validez y sesgo
Creencias erradas comunes respecto de la
injuesticia en las puntuaciones
Que es injusto por que discrimina entre los
individuos
Algun grupo particular que no se encuentra
incluido en el proceso de validacion
Sesgos encontrados
La mirada de Guion
De acuerdo a Guin, la validez de constructo es
realmente la unica clase de validez
La lgica de la validez de constructo como ha sido
claramente evidenciado, debe ser:
Rconfiable
Caracterizada por buenos estimulos
Ser de interes, debe mostrar los patrones de
relaciones esperados con otras variables
9 preguntas que hacerse para evaluar un test(Guion,
1998)
Preguntas en el desarrollo de un test
1. Tena el autor una idea clara del atributo a ser
medido?
Limites del atributo?
Las conductas que muestran ese atributo y las que no?
Las variables que podran estar correlacionadas y las que no?
2. La forma de medirlo es consistente con el
concepto?
Son apropiados :
El medio de presentacion?
Las reglas de estandarizacion (p ej. Tiempo limite)?
Los requerimientos de respuesta?
3. Es apropiado el contenido en cuanto a los
estimulos??
Requisitos de los contenidos para ser usados en un test :
1. El contenido debe ser una conducta que tenga un significado
aceptado generalmente
2. El dominio debe ser definido sin ambiguedades
3. El dominio debe ser directamente relevante para los propsitos de
la medicion
4. Jueces calificados deben estar de acuerdo en que el dominio fue
muestreado adecuadamente
5. Las respuestas deben ser puntuadas y evaluadas confiablemente
4. El test fue desarrollado cuidadosamente y con
experticia?
Sigue una planificacion adecuada y sistematica?
Se utilizo pilotaje?
Se seleccionaron en base a un analisis de items adecuado?
Evidencia basada en la confiabilidad
5. La evidencia estadstica es satisfactoria?
Consistencia interna, saturacion (o relevancia)
6. Los puntajes son estables en el tiempo y
consistentes con otras medidas?
Test-retest, formas laternativas, acuerdo inter jueces,
dependiendo del propsito o uso del test.
Evidencia de los patrones de
correlaciones
7. La evidencia emprica confirma las relaciones
lgicas esperadas con otras variables?
El fracaso en sostener las hipotesis puede ser por
La validez de la inferencia o
Las definiciones operacional y conceptual del atributo
8. La evidencia emprica desconfirma significados
alternativos de los puntajes del test?
Cronbac propone un programa para la validez de
constructo
Generar una teora explcita para el atributo
Identificar y evaluar las posibles inferencias rivales
Evidencia basada en los resultados
9.
Son las consecuencias del uso del test
consistentes con el significado del constructo que se
mide?
