ELABORACION DE

TESIS

PLANTEAMIENTO DEL
PROBLEMA

Dr. E. Ángel Ancori Villegas

Saberes a Desarrollar

Conocer los conceptos de validez y confiabilidad

Comprender la diferencia entre validez y

confiabilidad

aplicar la validez y confiabilidad

 Requisitos de
la Medición

Validez Confiabilidad

Validez de Validez de Validez de

Contenido Criterio Constructo

Factores Que Atentan Contra La Validez Y Confiabilidad

 Confiabilidad y validez de la medición
Confiabilidad Validez
Definición El grado en el cual una El grado en el cual una
variable tiene el mismo variable actualmente
valor cuando se mide represente lo que se
varias veces supone que representa

Mejor forma Comparación entre Comparación con un

de evaluar diferentes mediciones estándar de referencia
 Confiabilidad Validez
Valor del Aumento del Aumento de la
estudio poder para validez de las
detectar efectos conclusiones

Amenazados Error aleatorio Error sistemático

por (varianza) (sesgo) contribuye:
contribuye:
El observador El observador
El sujeto El sujeto
El instrumento El instrumento
.... . .
. . . . .. . .
. . .. .
.
Ilustración de las diferencias entre
precisión y seguridad
 .... .. . . .
. . . . .
. . .. .
Buena precisión Pobre precisión Buena precisión Pobre precisión

Pobre seguridad Buena seguridad Buena seguridad Pobre seguridad

Ilustración de las diferencias entre

precisión y seguridad
REQUISITOS DEL INSTRUMENTO DE MEDICIÓN

CONFIABILIDAD

VALIDEZ
¿Validación?
Controlar sesgos

Controlar variables confusas

Es un proceso metodológico Generar el mejor proceso

que intenta estándar

Interpretar de mejor modo

los procedimientos
realizados
 VALIDEZ

La validez, se refiere al grado en que un instrumento realmente mide la variable

que pretende medir. La validez es el aspecto de la medición realcionado con la
comprobación y el estudio del significado de las puntuaciones obtenidas del
instrumento (Elosua, 2003) a partir de la aplicación de un instrumento, se
pueden hacerse inferencias, unas validas y otras no. (Muñiz, 2005)
Por ejemplo, un instrumento válido para medir la inteligencia debe medir la
inteligencia y no la memoria.. Un método para medir el rendimiento bursátil
tiene que medir precisamente esto y no la imagen de una empresa.
Un ejemplo muy obvio de completa invalidez sería intentar medir el peso de los
objetos con una cinta métrica en lugar con una balanza.
Existen varios tipos de validez. Pero no todas están en todos los tipos de
investigación.
Todas las formas de validez se encuentran en una investigación de tipo
explicativo causal.
 Validez Total

Validez de Contenido

Validez de Criterio

Validez de Constructo
Validez de Contenido
Se refiere al grado en que un instrumento refleja un dominio
específico de contenido de lo que se mide. Es el grado en que la
medición representa el concepto medido. Se obtiene mediante
procedimientos estadísticos en base a una evaluación de una batería
de ítems por parte de jueces escogidos por tener características
similares a la población objetivo o por expertos en la temática
(carretero y Perez, 2005)

Un instrumento de medición debe tener representados a todos los

items del dominio de contenido de las variables a medir. Es el grado
en el que la medición representa el concepto o variable
[Link] una prueba de operaciones aritméticas no tendrá
validez de contenido si incluyera solo problemas de resta y excluyera
problemas de suma, multiplicación o división
Los investigadores deben elaborar una serie de ítems, de
acuerdo con las variables empleadas y sus respectivas
dimensiones.

Se selecciona los ítems, se elabora el instrumento, para ser

validado por un grupo impar de expertos, de tres o cinco, que
certifiquen, efectivamente, que las preguntas, reactivos o
afirmaciones seleccionadas son claras y tienen coherencia con
el trabajo desarrollado.
Validación de Aiken
• La V de Aiken (Aiken, 1985) es un coeficiente que permite cuantificar la
relevancia de los ítems respecto a un dominio de contenido a partir de las
valoraciones de N jueces. Este coeficiente combina la facilidad del cálculo
y la evaluación de los resultados a nivel estadísticos (escurra, 1988).
• El coeficiente resultante puede tener valores entre 0 y 1. cuanta mas el
valor se acerque a 1, entonces tendrá una mayor validez de contenido
(Escurra, 1988). Asi, el valor 1 es el mayor valor posible e indica un
acuerdo perfecto entre los jueces expertos respecto a la mayor
puntuación de validez que pueden recibir los ítens
• De 0,00 a 0,80 validez débil
• De 0,81 a 0,90 validez aceptable
• De 0,91 a 1,00 validez fuerte
Validez de W de Aikem
V
Intervalos de confianza al
95%
Experto 2

Experto 3
Experto 1

Experto 4

Experto 5

Experto 6
Total (S)
Items Raiting sumatoria de Aiken: Escala
Promedio acuerdos
s/ (n(c-1)) Inferior superior

1 5 5 5 4 4 4 4.50 27 0.75 v. fuerte 0.50 0.20

2 5 5 5 5 5 5 5.00 16 0.53 v. aceptable 0,673 0,969
3 5 5 5 5 5 5 5.00 16 0.67 v. aceptable 0,673 0,969
4 5 5 5 5 5 5 5.00 16 0.67 v. aceptable 0,673 0,969
5 4 5 4 5 5 5 4.67 18 1.00 v. fuerte 0,824 1,000
6 5 4 4 4 5 4 4.33 17 0.94 v. fuerte 0,741 0,990
7 5 5 5 5 4 4 4.67 17 0.94 v. fuerte 0,741 0,990
8 4 5 5 5 5 5 4.83 17 0.94 v. fuerte 0,741 0,990
9 5 5 4 4 5 5 4.67 16 0.89 v. aceptable 0,673 0,969
10 4 4 5 5 5 4 4.50 17 0.94 v. fuerte 0,741 0,990
11 5 4 4 4 4 5 4.33 18 1.00 v. fuerte 0,824 1,000
12 4 5 5 5 4 4 4.50 17 0,94 v. fuerte 0,741 0,990
13 5 5 5 5 5 4 4.83 16 0,89 v. aceptable 0,673 0,969
14 5 5 5 4 4 5 4.67 17 0,94 v. fuerte 0,741 0,990
15 5 5 5 5 4 4 4.67 17 0,94 v. fuerte 0,741 0,990
16 5 5 5 5 4 5 4.83 18 1,00 v. fuerte 0,824 1,000
17 4 5 4 4 5 4 4.33 16 0,89 v. aceptable 0,673 0,969
18 5 4 4 5 5 5 4.67 18 1,00 v. fuerte 0,824 1,000
19 5 5 5 5 5 5 5.00 17 0,94 v. fuerte 0,741 0,990
20 4 5 5 5 5 5 4.83 18 1,00 v. fuerte 0,824 1,000
21 5 5 4 5 5 5 4.83 19 1,01 v. fuerte 0,825 1,001
22 4 4 5 4 5 4 4.33 20 1,02 v. fuerte 0,826 1,002
 MÉTODOS DE AGRAGADOS INDIVIDUALES

 Se pide individualmente a cada experto que dé una

estimación directa de los ítems del instrumento.

 Éste es un método económico, no exige que se reúna a los

expertos en un lugar determinado.
Se seleccionan al menos tres expertos, para juzgar de manera independiente
la relevancia y congruencia de los reactivos con el contenido teórico, la
claridad en la redacción y el sesgo o en la formulación de los ítems.
Cada experto debe recibir la información escrita suficiente sobre: el
propósito de la prueba, conceptualización de contenido, tabla de
especificaciones o las variables de estudio.
Cada experto debe recibir un instrumento de validación que contenga:
congruencia ítem-dominio, claridad, tendenciosidad o sesgo y
observaciones.
 Los ítems que tienen 100% de coincidencia favorable
entre los jueces (congruentes, claros en su redacción y
no tendenciosos) quedan incluidos en el instrumento

 Los ítems que tengan 100% de coincidencia desfavorable

entre los jueces quedan excluidos del instrumento

 Los ítems que tengan una coincidencia parcial entre los

jueces deben ser revisados y pueden ser nuevamente
validados.
 TÉCNICA DE GRUPO NOMINAL

 El primer paso es reunir a los expertos (entre ocho y diez personas) y

pedirles que registren individualmente, sin intercambiar opiniones y
consideraciones de probabilidades de error para cada una de las
preguntas o tareas que se les detallan.
 Cada experto expone las puntuaciones y principales consideraciones
registradas y luego establecen las coincidencias del grupo.
 Se realiza un debate de cada uno de los apartados de ésta.
 Al final, cada experto, de manera individual y por escrito, puntúa y
argumenta las probabilidades de error para cada tarea/pregunta
considerada.
MÉTODO DE CONSENSO GRUPAL

• Se reúne a los expertos y se indica al grupo que su tarea consiste en

la elaboración de los ítems, que sea satisfactoria para todos los
expertos.

• Si el grupo no logra un consenso, puede intentarse un consenso

artificial recogiendo las estimaciones individuales y sintetizándolas
estadísticamente.

• Este método, también precisa que el grupo de expertos sea

pequeño, se fomente la libre expresión y se eviten las discusiones y
las votaciones.
 Validez de Criterio
La validez de criterio establece la validez de un instrumento de
medición comparándola con algún criterio externo que
pretende medir lo mismo. Este criterio es estándar con el que
se juzga la validez del instrumento .
Entre los resultados del instrumento de la medición se
relaciona más al criterio, la validez del criterio será mayor.
• Si el criterio se fija en el presente de manera paralela, se
habla de validez concurrente
• Si el criterio se fija en el futuro, se habla de validez predictiva
El principio de la validez de criterio es sencillo: si diferentes
instrumentos o criterios miden el mismo concepto o variable,
deben arrojar resultados similares
Validez de Constructo
Es posiblemente la más importante sobre todo desde una
perspectiva científica y se refiere al grado en que una medición
se relacione consistentemente con otras mediciones de acuerdo
con hipótesis derivadas teóricamente y que conciernen a los
conceptos que están siendo medidos.
Un constructo es una variable medida y tiene lugar dentro de
una hipótesis, teoría o modelo teorico. Es un atributo que no
existe aislado sino en relación con otros y debe ser inferido de la
evidencia que tenemos en nuestras manos y que proviene de
las puntuaciones del instrumento aplicado.
Etapas de la Validez de Constructo

Relación teórica entre conceptos y el marco teórico

Se relacionan ambos conceptos y se analiza

Interpretación de la evidencia empírica

El proceso de validación de un constructo está vinculado con la teoría.

No es posible llevar a cabo una validación de constructo, a menos que

exista un marco teórico que soporte a la variable en relación con otras
variables
Validez Total
• La validez de un instrumento de medición se
evalúa sobre la base de todos los tipos de
evidencia. Cuanta mayor evidencia de
contenidos, de validez de criterio y de validez
de contructo tenga un instrumento de
medición, este se acercará mas a
representarlas variables que pretende medir.
Factores que afectan la confiabilidad y
validez
 Improvisación.
 Instrumentos no contextualizados.
 Instrumento inadecuado a las personas a las que se le aplica.
 Condiciones en que se aplica el instrumento
 Preguntas inadecuadas respecto a las especificaciones (sobre todo en
pruebas escritas y orales)
 Cuestionarios demasiados cortos, con pocos reactivos.
 Ordenamiento inadecuado de los ítens,
 CONFIABILIDAD

La confiabilidad de un instrumento de medición se refiere al

grado en que su aplicación repetida al mismo individuo u
objeto produce resultados iguales
Ejemplo:
Formas de Medición de Confiabilidad

Medida de estabilidad (confiabilidad por test-retest)

Un mismo instrumento de medición es aplicado dos o más veces a un

mismo grupo de personas, después de un período de tiempo

Si la correlación entre los dos resultados de las diferentes aplicaciones es

altamente positiva, el instrumento se considera confiable.
Se determina mediante el cálculo de coeficiente de correlación de
Pearson
 TEST - RETEST
• Este procedimiento solo es aplicable para la
medición de aptitudes físicas y atléticas, test
de personalidad y motores.
• -I yI
Métodos de forma alternativa o paralelas:

Este procedimiento analiza dos o más versiones equivalente de instrumentos.

Las versiones son similares en contenido, instrucciones, duración y otras características

Las versiones, son administradas a un mismo grupo de personas dentro de un periodo
de tiempo relativamente corto.

El instrumento es confiable si la correlación entre los resultados de amplias

administraciones e significativamente positiva.

Los patrones de respuesta debe variar poco entre las aplicaciones

Método de mitades partidas:

Requiere solo una aplicación de la medición

El conjunto total de itemes es dividido en dos mitades y la puntuación o resultados de ambas

son comparados.
Si el instrumento es confiable las puntuaciones de ambas mitades deben estar fuertemente
correlacionadas. Ejm pares e impares

Un instrumento con baja puntuación en una mitad tendrá que mostrar también una baja
puntuación en la otra mitad.
Criterio de Confiabilidad
Coeficiente alfa de Cronbach

Requiere de una sola administración del instrumento y mide la

consistencia interna de los ítems en cada escala y el instrumento como
conjunto. Es decir entrega un valor estadístico que nos indica en que
medida un conjunto de ítems apuntan en la misma dirección

Produce valores que oscilan entre cero (0) y uno (1).

Aplicable a escala de varios valores posibles.

 Su fórmula determina el grado de consistencia y precisión

Escala de valores

-1 a 0: No es confiable
0,01 a 0,49: Baja confiabilidad
0,5 a 0,75: Moderada confiabilidad
0,76 a 0,89: Fuerte confiabilidad
0,9 a 1: Alta confiabilidad
 Valor del coeficiente Cronbach para determinar la
confiabilidad del instrumento, resultado de
confiabilidad que puede ser expresado en %.

K :Número de ítems de la prueba

:Es la varianza de los ítems

:Varianza de la prueba total

Correlación r de Pearson
En donde:
• r xy: es el coeficiente de correlación
• N: número de sujetos
• X: valores de X (1ª aplicación)
• Y: valores de Y (2ª aplicación)
• XY: producto de cada valor X por su correspondiente valor en Y
 JUICIO DE EXPERTOS

Se entiende por experto tanto al individuo en sí como a un

grupo de personas u organizaciones capaces de ofrecer
valoraciones conclusivas de un problema en cuestión y hacer
recomendaciones respecto a sus momentos fundamentales con
un máximo de competencia.
 ETAPAS DEL MÉTODO DE EVALUACIÓN DE
EXPERTOS

• Elaboración del objetivo

• Selección de los expertos

• Elaboración del cuestionario o guía.

• Elección de la metodología.

• Ejecución de la metodología.

• Procesamiento de la información
 Criterios para la selección de los expertos

• Competencia

• Disposición a participar en el proceso

• Capacidad de análisis

• Capacidad de Autocrítica

• Efectividad de su actividad profesional.

Competencias de un Experto

La competencia de un experto esta dada por el nivel de

calificación en una determinada rama o disciplina de la ciencia o
el arte y se encuentra determinada por

la actividad científico-investigativa y profesional del especialista

el nivel y profundidad de conocimientos de los logros de la

ciencia y la técnica en el mundo

la comprensión del problema que se investiga

las perspectivas de su desarrollo.

MÉTODOS PARA DETERMINAR LA COMPETENCIA DE UN EXPERTO

Autovaloración

Coeficiente de competencia K

Efectividad de la actividad profesional

 El coeficiente de competencia k

La competencia de los expertos se determina por el coeficiente

K, el cual se calcula de acuerdo con la opinión del candidato
sobre su nivel de conocimiento acerca del problema que se esta
resolviendo y con las fuentes que le permiten argumentar sus
criterios.
El experto deberá marcar una cruz en la casilla que estime pertinente

0 1 2 3 4 5 6 7 8 9
x

Kc 7 (0.1)  0.7 para una pregunta determinada de la encuesta.

El Kc de cada experto se calcula promediando los valores de cada pregunta.

El valor 0 indica absoluto desconocimiento de la problemática que se evalúa

El valor 1 indica pleno conocimiento de la referida problemática.
.
El coeficiente K se calcula de la siguiente
manera

Kc  Ka
K --------------------
2
Ka:

Es el coeficiente de argumentación o fundamentación de los criterios del experto

determinado como resultado de la suma de los puntos alcanzados a partir de una
tabla patrón.