Teora y Construccin de Pruebas
Diana Vidot Nez, Ph. D.
CPSY 625
.
Segn Tavella (1978) los reactivos son las
unidades bsicas que configuran el material o
contenido de un instrumento de medicin.
Entre las tareas ms importantes que se
llevan a cabo en el proceso de construccin
de una prueba est la de elegir los elementos
o reactivos que la componen (Santisteban,
1990).
Segn Anastasi (1988) los reactivos pueden
ser seleccionados de dos formas:
Cuantitativamente y cualitativamente
A travs del anlisis de reactivos se obtiene
informacin objetiva y cuantitativa de los
elementos de una prueba que nos ayudan a
conocer el contenido de las reas que
resultan ms difciles y seleccionar los
mejores reactivos y reagruparlos por
dificultad (Tavella, 1978).
Es para determinar que reactivos deberan
conservarse, cuales hay que corregir y cuales
deben eliminarse (Gregory, 2012).
La forma cualitativa se analiza en trminos
de su contenido y forma.
Ejemplo de esta tcnica es la seleccin de
reactivos a travs de jueces expertos en el
rea de estudio.
La forma cuantitativa es el trminos de sus
propiedades estadsticas.
Entre los mtodos disponibles se
encuentran el anlisis de reactivos, el
anlisis de factores y la utilizacin de
criterios externos para seleccionar los
reactivos.
El anlisis de reactivos tiene por objetivo
conocer el comportamiento de cada reactivo
con el conjunto de reactivos.
Segn Cirino (1984) al evaluar el anlisis de
reactivos, se refiere al anlisis estadstico de las
respuestas a las preguntas.
El anlisis de tems conlleva, entre otras cosas, el
relacionar las respuestas de cada una de las
alternativas con un criterio.
Este criterio puede ser la puntuacin total en la misma
prueba o puede ser criterio externo.
Generalmente se utiliza como criterio la prueba misma.
Cuando nos proponemos a realizar el anlisis de
reactivos vamos a enfrentar varios problemas en el
proceso.
El primer problema a enfrentar es el
identificar una muestra de participantes, para
ensayar la prueba, cuyas caractersticas
personales sean similares a las caractersticas
de las personas a quienes se les aplicara la
prueba (muestra representativa).
A veces el nico grupo de personas con quienes se
puede ensayar la prueba es precisamente con el
grupo que tomara la prueba posteriormente.
La disponibilidad de tiempo de las
personas que respondern en el
ensayo.
Regularmente el nmero de preguntas que
se ensaya es considerablemente mayor
que el nmero de preguntas que se quiere
retener en la forma final de la prueba.
La motivacin y la actitud del grupo de
ensayo
El grupo de ensayo lo hace voluntariamente para
cooperar con el constructor de la prueba.
Es importante indicarles que los resultados de la
prueba no van a tener ningn efectos sobre su
situacin presente o futura y que lo que esta
probando es la prueba misma y no a las
personas.
Seguridad de las preguntas
Uno de los propsitos del ensayo de la
prueba y del anlisis de sus preguntas es
identificar aquellas preguntas con las
caractersticas deseables o requeridas
para construir una prueba que se utilizara
en el futuro.
La razn principal es conocer las
caractersticas de las preguntas con
anterioridad al ensamblaje final de la
prueba.
Permite la seleccin juiciosa y sistemtica
de preguntas.
Se puede determinar de antemano la
dificultad de la prueba y la forma de
distribucin de las puntuaciones
La puntuacin promedio que obtendr la muestra
ser aproximadamente igual a la suma de los
ndices de dificultad de cada una de las preguntas
incluidas en la prueba.
La distribucin de las puntuaciones (desviacin
tpica) se determina a base del nmero de
preguntas de la distribucin de las correlaciones de
cada pregunta con cada otra pregunta y con el total
de la prueba.
Se puede controlar el grado de confiabilidad
de la prueba seleccionando preguntas de
acuerdo a su dificultad y a su capacidad para
correlacionarse con las dems preguntas.
Tambin se puede detectar mediante el
anlisis de preguntas por separado si ests
en algn modo discriminan por sexo o contra
personas con trasfondo cultural distinto.
Ese anlisis se hace por separado para
cada sexo y/o grupo cultural.
Se puede obtener conocimiento de los
distintos tipos de errores que cometen
los participantes y las reas de la
materia (constructo) examinando que
resultan difciles.
Se puede hacer otro anlisis de reactivos
mediante entrevista a la muestra, aunque no
se utiliza con la frecuencia que debera y no
forma parte de la practica establecidas en
construccin de pruebas.
El propsito seria para determinar como los
participantes entendieron las preguntas y porque
respondieron en la forma en que lo hicieron.
Para determinar cuan representativa es para medir
el constructo.
Es importante controlar la dificultad de las
preguntas y la dispersin de esas
dificultades.
Tambin debemos asegurarnos que cada una
de las preguntas discrimina, en el mayor
grado posible, entre los mejores o peores
participantes.
Para lograr todo esto se hacen dos tipos de
anlisis:
ndice de dificultad
ndice de discriminacin
ndice de Dificultad (P)
Es el porcentaje de personas que respondi
correctamente. Es un ndice de facilidad.
ndice de Discriminacin (D)
Indica en que medida la pregunta puede distinguir
entre dos grupos.
Administrar la prueba y corregirla.
Ordenar las pruebas ya corregidas en forma
descendente.
Separar las hojas de contestaciones en dos
grupos:
Grupo Superior-equivalente a un 27 % del grupo total
que obtuvo las puntuaciones ms altas.
Grupo Inferior-equivalente a un 27 % del grupo total
que obtuvo las puntuaciones ms bajas.
Hacer conteo de cuantas veces cada posible
respuesta fue seleccionada para cada reactivo
por cada uno de los integrantes de los grupos
superior o inferior. Se identifica la clave.
Se anotan esos nmeros en una tabla o copia
de la prueba.
Se realiza la frmula para obtener P.
Se realiza la frmula para obtener D.
P=
Ai
Ni
X 100
P= ndice de discriminacion
Ai= nmero de aciertos del reactivo
Ni= nmero total de reactivos evaludaos (nmero de personas que
contestaron la prueba)
La informacin mas relevante que emana del
anlisis de reactivos es el ndice de dificultad
y el ndice de discriminacin.
Segn Satisteban el ndice de dificultad se
asocia con el porcentaje de probandos que
contestan correctamente un reactivo en
particular, segn las variables consideradas
en el estudio.
En otras palabras, el ndice de dificultad nos
indica cuan fcil o difcil resulta ser para los
probandos un reactivo en particular.
Segn Cirino (1988) se define como el
nmero de personas que obtuvo un reactivo
particular correcto (muy bien podra
llamarse ndice de facilidad)
Por ejemplo: si el 84% de un grupo de personas
que tomaron la prueba obtuvieron el tem 24
correcto, entonces el nivel de dificultad para ese
reactivo es de .84.
Cuanto mas alto el por ciento, mas
fcil resulto la pregunta.
Cuan difcil debe ser la preguntas
depender del uso de la prueba y de
los tipos de pruebas.
Por lo tanto, el primer paso que debe tener
presente el constructor de la prueba es
determinar la probabilidad de que ese
reactivo sea contestado correctamente por
chance.
Ejemplo: Una prueba de cierto y falso, puede
contestarse correctamente 50% del tiempo. Por lo
tanto el nivel de dificultad es de .50.
Ejemplo: Una prueba de seleccin mltiple con
cuatro alternativas puede contestarse una pregunta
correctamente 25% del tiempo. Por lo tanto el
ndice de discriminacin es de .25.
Este anlisis es importante ya que un reactivo que
fue contestado correctamente por el 100% de los
participantes significa que no discrimina entre los
individuos.
El nivel ptimo del ndice de dificultad es
usualmente equidistante entre el 100 por ciento
de los participantes a responder la pregunta
correcta y el nivel de xito esperado por chance.
Para llegar a este valor, se toma el 100% de nivel de
xito (1.00) y se resta por el chance de contestarlos
correctamente (.50, .25, etc.)
En la mayora de las pruebas no deseamos
que todos los tems tengan el mismo nivel de
dificultad, es preferible que los tems
representan una variedad de niveles de
dificultad.
Esto es importante ya que una buena prueba
discrimina a diferentes niveles.
En otras palabras, se necesita realizar una
variedad de diversas discriminaciones, para
esto se requiere diferentes niveles de
dificultad.
En trminos generales las pruebas que tienen
un ndice de dificultad entre .30 a .70 tienden
a maximizar la informacin sobre las
diferencias entre individuos.
Eber (1975) recomienda que se seleccionen
temes con una P entre 25 % a un 75 %.
Categoras para P:
86 % a 100 %
71 % a 85 %
31 % a 70 %
16 % a 30 %
0 % a 15 %
Demasiado fcil
Fcil
Promedio
Difcil
Demasiado difcil
Di = GA - GB
ngm
Di= Indice de discriminacin del reactivo i
GAaciertos = Nmero de aciertos en el reactivo i del 27% de personas con
las puntuaciones ms altas en el test.
GBaciertos = Nmero de aciertos en el reactivo i del 27% de personas con
las puntuaciones ms bajas en el test.
Ngrupomayor = Nmero de personas en el grupo ms numeroso (GA o GB).
El ndice de discriminacin indica hasta que
punto tiene relacin la medida de un reactivo
en particular con la prueba como conjunto.
Esto es as ya que el ndice que
discriminacin se estima a base de la
correlacin de cada reactivo con la
puntuacin total sobre la prueba.
Indica la proporcin de personas que tuvieron
xito en un reactivo particular.
Se usa para determinar cuanto de las
personas que obtuvieron un reactivo
correcto, tambin lo hicieron bien en la
prueba total.
Hay varios mtodos para obtener el ndice de
discriminacin.
Mtodo grupo extremo
Mtodo de punto biseral
Mtodo grupo extremo:
Compara las personas que salieron bien en la
prueba con las personas que salieron mal.
Pasos:
Identifica el grupo de persona que lo hizo bien
(puntuaciones mas altas) tambin identifica al grupo
de persona que lo hizo mal (puntuaciones mas bajas).
Identifica la proporcin de personas en el grupo
superior y el grupo inferior.
Para cada reactivo resta dichas proporciones y
obtendrs el ndice de discriminacin.
Di= Pt- Pb
El ndice de discriminacin entre un tem y el
total de la prueba es considerado para
determinar que reactivo se queda y cual se
va.
A mayor se acerca el reactivo a 1.00 mejor es
el reactivo. (.30 o mas de correlacin para
quedarse)
Kline (1993) & Spector (1992) sealan que
para considerar un reactivo como bueno, este
debe obtener un ndice de discriminacin
igual o mayor a .30.
Kline (1993) seala que el ndice de
discriminacin no debe pasar de .80, ya que
entonces este no discrimina eficientemente.
Para obtener el ndice de discriminacin en
SPSS vamos a: Analize-Scale-Releability
Analisis se observa en la columna
Corrected Item Total Correlation.
Esta es la habilidad de una prueba para
producir unas puntuaciones que sean
dispersas.
Una discriminacin mnima se obtiene cuando
todos los participantes o probandos obtienen
la misma puntuacin, por lo tanto no sirve.
Se utiliza como criterio .90 hacia arriba para
que una prueba tenga buen poder hacia
discriminar.
No obstante, una prueba puede discriminar y
no ser valida.
Varios autores (Anastasi, 1988; De Vellis,
1991; Kline, 1993; Spector, 1992) sealan
que para considerar a un reactivo como
bueno, ste debe obtener al menos un D
igual o mayor a .30.
Brown (1982) seala que se pueden
seleccionar reactivos con una D menor de
.30, pero no menor de .20.
Ebel (1975) las siguientes son las categoras
para D:
.40
.30
.20
.00
en adelante
a .39
a .29
a .19
muy bueno
razonablemente bueno
marginal, necesita revisin
pobre, se debe eliminar
