Tema Dos: Confiabilidad
Confiabilidad: es la precisión con la que la prueba mide lo que mide, en una población
determinada y en las condiciones normales de aplicación. (Anastasi, 1982; Aiken 1995)
Una prueba puede ser confiable sin ser válida, pero NO PUEDE SER VÁLIDA SIN
SER CONFIABLE.
“Ningún instrumento psicométrico puede considerarse de valor a menos que sea una
medida consistente o confiable”( Aiken, 2003, p. 85)
Métodos para determinar la confiabilidad:
Confiabilidad de test-retest: Se aplica la misma prueba en dos momentos diferentes
al mismo grupo.
Confiabilidad interjueces o entre calificadores : Dos jueces califican la prueba y se
comparan sus respuestas.
Confiabilidad de formas alternas, paralelas o formas equivalentes: Se aplican dos
formas equivalentes de la prueba al mismo grupo y se correlacionan los puntajes
obtenidos. Se aplica una prueba al grupo A y otra muy similar al grupo B, luego se
intercambian los test en los grupos y se revisa la correlación de los tests
Confiabilidad de consistencia interna: grado que los ítems que hacen parte de una
escala se correlacionan entre ellos. Esta a su vez cuenta con diferentes métodos para
estimarla, los cuales son:
- División por mitades: Se aplica la prueba a un grupo, luego se divide en dos
partes iguales y se correlacionan las dos
- Kuder – Richarson: es usado en pruebas con respuestas dicotómicas
- Coeficiente de Alfa: El alfa es la medida en la cual algún constructo, concepto o
factor medido está presente en cada ítem. Mínimo 4 preguntas, máximo 20,
pruebas unidimensionales, tiende a sobreestimar, asume normalidad. Valor
adecuado: 0.70-0.90.
- Alfa estratificado: Se usa cuando las escalas tienen varios dominios (más de
un factor). Valor adecuado: 0.70-0.90.
- Alfa de Cronbach Ponderado: Se usa cuando una escala tiene ítems con
diferentes tipos de respuesta. Se le proporciona un peso a cada discrepancia y
se supone que los ítems están igualmente ponderados y se realiza una
sumatoria de los valores de alfa ponderados para cada ítem. Valor adecuado:
0.70-0.90.
- Coeficiente omega de McDonald´s: Resulta útil para situaciones en que no se
cumplen los supuestos de alfa de Cronbach. No importa el número de factores,
no asume que la prueba cuenta con normalidad, trabaja con la varianza de las
comunalidades y no depende del número de ítems. Valor adecuado: 0.70-0.90.
Fuentes que atentan contra la confiabilidad:
- Calificación de la prueba, por eso es necesario tener instrucciones de
calificación claras y explícitas para que la variación se reduzca al mínimo.
- Contenido de la prueba, las variaciones en el muestreo de los reactivos de una
prueba pueden resultar en un error no sistemático en las puntuaciones
- Condiciones de aplicación de la prueba, a pesar de que una prueba debe
contar con procedimientos estandarizados para su aplicación, es imposible
controlar todas las variables que pueden influir de una u otra forma en las
puntuaciones finales, por tal motivo, se pueden presentar variaciones en la
aplicación de la prueba haciendo que la varianza sea inestable en las
puntuaciones.
- Condiciones personales, las condiciones temporales del examinado pueden
tener influencias no sistemáticas en sus puntuaciones.
Por otro lado, la confiabilidad de las pruebas puede formularse dentro de tres
contextos: Teoría clásica de las pruebas, teoría de la respuesta al reactivo y la teoría
de la generalizabilidad.
- La Teoría Clásica de las Pruebas (TCP) supone que la calificación observada
de una persona en una prueba está compuesta por una puntuación “real” más
algún tipo de error no sistemático de medición. La puntuación real de una
persona en una prueba particular se define como el promedio de las
puntuaciones que obtendría si presentara la prueba un número infinito de veces.
o Puntuación observada (O) Puntuación real de una persona en una
prueba, puede ser afectada en sentido positivo o negativo por fuentes que
afectan la confiabilidad
o Puntuación verdadera (V) Lo que obtendría una persona si todas las
fuentes que afectan la confiabilidad pudieran ser eliminadas o
canceladas.
o Puntuación de error (E) Diferencia entre las V Y O. Puede ser negativo o
positivo.
- La Teoría de la generalización(TG) evalúa varias fuentes de falta de
confiabilidad al mismo tiempo; no se ha empleado mucho en aplicaciones
prácticas.
- Teoría de la respuesta al reactivo (TRR) , aquí el análisis de confiabilidad
depende del funcionamiento de los reactivos dentro de la prueba. Sin embargo,
los reactivos funcionan de manera independiente, en comparación con la TCP
que los reactivos son interdependientes
Tema tres: Validez
Grado en que una prueba mide lo que pretende medir.
Nota: no son diferentes tipos aislados de validez, es una sola validez, que cuenta con
diferentes EVIDENCIAS de la validez
Validez de contenido: es cuando hay una buena correspondencia entre la prueba y la
teoría pertinente. Tabla de especificaciones.
validez aparente: se refiere a que si una prueba aparenta medir el constructo meta
Validez convergente: correlación relativamente alta entre la prueba y algún criterio
pensado para medir el mismo constructo de la prueba.
Validez discriminante: Correlación relativamente baja con constructos diferentes al
que se pretende medir con ella.
Validez discriminante interna: indica el grado de diferenciación que existe entre los
factores del constructo.
validez de constructo: grado en que la prueba mide un concepto psicológico.
Recuerden que cuando hablamos de Análisis factorial, se hace aquí.
Análisis Factorial Exploratorio:
Permite verificar la estructura interna de una escala al agrupar las variables que se
correlacionan fuertemente entre sí y las que se correlacionan débilmente.
Supuestos del AFE
1. Determinante de matriz: Lo más cercano a 0 es lo ideal.
2. KMO: permite conocer si las variables comparten factores comunes. Valor
adecuado: mayor a 0.7
3. Test de esfericidad de Bartlett: Permite evaluar la hipótesis nula que afirma
que las variables no están relacionadas. Si los resultados son significativos se
rechaza la hipótesis nula. Valor: inferior a 0.05.
Comunalidades: la varianza total de una variable se debe a factores que comparte con
otras variables/ proporción de la varianza total que es explicada por factores comunes/
Indica es que tanto está aportando cada una de las preguntas a la varianza total
explicada. Valor adecuado: Mínimo 0.3. Valores por debajo se eliminan.
Varianza Explicada: Superior a 50% Indica qué porcentaje estamos midiendo del
constructo.
Unicidad: Porcentaje de varianza particular de cada variable. Valor adecuado: máximo
0.7. Valores por encima se eliminan.
Cargas Factoriales: por encima de 0.300 Si un ítem carga en dos factores, debe
existir una diferencia mínima de 0.200, sino se elimina. El ítem de mayor carga le da el
nombre al factor. Mínimo 3 ítems por factor.
Ítem rest correlation: Mayor a .400.
Métodos de extracción de Factores: Técnica para resumir o reducir un conjunto de
ítems a un número menor de factores.
• Mínimos cuadrados no ponderados (ULS)
• Máxima verosimilitud
• Mínimos cuadrados no generalizados
• Análisis de componentes principales
• Factorización de ejes no principales
Tipos de rotación: Se usa con el único propósito de lograr una mejor interpretación de
los factores, influye en la carga que representa en cada factor.
ORTOGONAL : varimax, Quartimax, Equamax Hace que los factores no estén
correlacionados
OBLICUA: Oblimin, Promax, Promin. Permite que los factores puedan estar
correlacionados
ANÁLISIS FACTORIAL
El análisis factorial en la investigación psicométrica, es usado como un método de
reducción de datos en el que son analizados varios conjuntos de puntuaciones y las
correlaciones entre ellas. Este análisis se puede realizar en una base exploratoria o
confirmatoria. Existen unos factores de carga y se refiere a los posibles factores en los
que se puede dividir la prueba. (tabla de especificaciones).
SESGOS DE LA PRUEBA
Es un factor inherente a una prueba, que, de manera de sistemática, impide la medición
absolutamente precisa e imparcial. Para predecir el éxito del criterio es necesario
examinar las tres características de las líneas de regresión:
1.La pendiente.
2. La intersección.
3. El error de estimación.
No obstante, es importante tener en cuenta que estos factores de regresión hacen parte
de otras funciones estadísticas como el coeficiente de validez y el de confiabilidad.
ERROR DE ESTIMACIÓN
Una estimación es un juicio numérico o verbal (o ambos) que coloca a una persona o a un
atributo a lo largo de un continuo identificado por una escala de descriptores numéricos,
conocido como escala de estimación. En este orden de ideas, el erros de estimación es
un juicio resultante del mal uso intencional o no intencionado de una escala de
estimación.
IMPARCIALIDAD DE LA PRUEBA
Es el grado en el cual una prueba es utilizada de manera imparcial, justa y equitativa.
Mientras que las cuestiones del sesgo de la prueba algunas veces pueden responderse
con precisión y determinación matemática, las cuestiones de imparcialidad pueden
intentar ser resueltas por infinidad de personas bien intencionadas que sostienen puntos
de vista contrarios.
ACIERTO, POSITIVOS FALSOS Y NEGATIVOS FALSOS
Un acierto es un caso que tiene el mismo estatus respecto de la prueba y el criterio.
Los positivos falsos son casos que superan el punto de corte, pero no se ajustan al
criterio.
Los negativos falsos son aquellos en que la puntuación de la prueba está debajo del
punto de corte, pero tienen éxito en el criterio.
ÍNDICE BASE
Es el porcentaje de individuos de la población que tienen alguna característica -Cuando
el índice base es extremo, muy alto o muy bajo, es difícil mostrar que una prueba tiene
una buena validez. -Una buena validez es fácil de alcanzar cuando el índice base se
acerca al 50%
SENSIBILIDAD Y ESPECIFICIDAD
La sensibilidad de una prueba es el grado en que identifica de manera correcta al grupo
criterio.
La especificidad es el grado en que la prueba no identifica al grupo de contraste.
Lo que se pretende: a) Identifique al grupo criterio y b) No identifique al grupo de
contraste.
INTEGRACIÓN DE LA EVIDENCIA
AL FINAL DE LAS PRUEBAS SE DEBE REALIZAR UN BARRIDO DE LOS TIPOS DE
VALIDEZ PARA ASÍ CONFIRMAR QUE ESTA LO ES.
