3 LOS INSTRUMENTOS DE MEDICION PSICOLOGICA. I: CONSTRUCCION Y APLICACION Maria José Navas Ara 3.1. INTRODUCCION Este capitulo se ocupa de los instrumentos de medicién psicolégica, en particular, de la construccién y aplicacién de pruebas 0 tests que nos permitan pasar del plano te6rico en el que se encuentran los constructos © caracteristicas psicolégicas que deseamos medir al plano empirico, en el que lo que tenemos ya son conductas o respuestas directamente obser- vables —las respuestas de los sujetos a los {tems del test— que sirven para representar empiricamente a esos constructos que las més de las veces no pueden ser observados directamente (véase figura 2.1) Cuando un investigador se plantea construir una nueva prueba o test, la primera cuesti6n a la que debe responder siempre es la siguiente: gpara qué se va a utilizar el test?, ¢cudl es la finalidad 0 el objetivo que se pretende conseguir con esta nueva prueba?, ¢a quién se va a aplicar dicha prueba? Como tendré ocasién de comprobar el lector en las paginas que siguen, la respuesta a esta pregunta servira para encaminar los pasos del investigador en una u otra direccién. Una vez que sabemos exacta- mente el objetivo del test, para qué se desea construir un nuevo instru- mento de medicién, es hora de poner manos a la obra y, para ello, lo pri- mero que hay que hacer es especificar de forma clara y explicita las caracterfsticas que ha de tener esa prueba. Eso significa que hay que proceder a representar de forma empirica el constructo o caracteristica que se desea medir, para asi poder determinar cual va a ser el contenido de la prueba que habra que definir a partir de conductas 0 respuestas directamente observables; asimismo, hay que tomar decisiones relativas al tipo y ntimero de ftems que conviene incluir en la prueba y a las carac- terfsticas métricas que deben presentar éstos. E] producto final de esta fase de la construccion de un test -conocida como Especificacién del test- es un conjunto de directrices 0 indicaciones generales que constituyen el pilar basico sobre el que se asienta la siguiente fase del proceso de cons-96 __METODOS, DISENOS Y TECNICAS DE INVESTIGACION PSICOLOGICA truccién del test-la confeccion de los items-, que debe regirse por las pau- tas emanadas de la especificacién del test. Una vez redactados los items, habra que proceder a su ensamblaje dentro de la prueba, se elaboraran las correspondientes instrucciones de administracion de la misma y se tomaran las decisiones pertinentes en relaci6n a la forma de registrar las respuestas de los sujetos. Estas son basicamente las tareas a desarrollar en la tltima fase del proceso de construccién del test: la confeccién de la prueba. Los cuatro apartados siguientes del capitulo se ocupan de estas cuatro fases con las que puede caracterizarse el proceso de construc- cién de instrumentos de medida. Una vez construida la prueba se puede proceder ya a su administra- cién, a su aplicacion efectiva a un sujeto o grupo de sujetos con el fin de ver cual es su nivel en la caracteristica 0 atributo evaluado. Como se vera en el sexto apartado, las posibilidades de administracién de una prueba son muy variadas: individual o colectiva, de forma personal o directa, a través del teléfono o por correo postal, como prueba de lpiz y papel o a través de la pantalla de un ordenador, etc. La otra decision que hay que tomar es cémo se llevaré a cabo la primera aplicacién o apli- cacién piloto de la prueba, aquella que nos va a servir para pasar de la version preliminar de la prueba a su versi6n definitiva (véase figura A). En el diagrama de la figura 3.1 se presenta un esquema-resumen con los contenidos que se van a desarrollar en el capitulo. Construccién ~ Objetivo del test | {_Especiticacion del test_] | Conteccién de los items ~_Confeccion del test Figura 3.1. Esquema-resumen de los contenidos del test. Los objetivos que se persiguen en este capitulo son los siguientes: — comprender la légica que permite pasar del plano teérico al plano empirico en el proceso de medicion psicolégic mento de — conocer las etapas para la construccién de un ins\ medida;RUCCIO! STRUMENTOS DE MEDICION SICOLOGICA. I tintas estrategias que permiten representar empi- racteristica que se desea medir; — entender las di: ricamente el constructo 0 — conocer los tipos de items mas frecuentemente utilizados; — saber cuéles son las reglas basicas que hay que seguir para escribir buenos ftems o preguntas; — conocer las distintas posibilidades de administracién de una prue- ba; saber de qué posibilidades se dispone para pilotar una prueba. 3.2. OBJETIVO DEL TEST La primera fase en la construccion de un instrumento de medida es la definicién clara e inequivoca del objetivo que se persigue con ese nuevo test, lo que supone que habra que dar respuesta a los siguientes tres interrogantes: ¢Qué se va a medir con el test? VARIABLE DE INTERES gA quién se va a medir? = POBLACION DIANA {Qué se pretende? = UTILIZACION PREVISTA La respuesta al primero de ellos Ileva a la variable que se desea medir; la respuesta al segundo a las caracteristicas de la poblaci6n a la que se va a administrar el test y la respuesta al tercero al tipo de inferencia que se va a realizar a partir de las puntuaciones del test, esto es, al uso que se va a dar a las puntuaciones obtenidas por los sujetos en el test. 3.2.1. Variable de interés En el capitulo anterior se hablaba de variables manifiestas y latentes (segtin que éstas denoten caracteristicas que son —o no— directamente observables) y se vinculaba la medicién psicologica a estas tiltimas, a caracteristicas y constructos no directamente observables (como el ren- dimiento académico, el conservadurismo, la estabilidad emocional, etc.). Pues bien, la primera decisién que hay que tomar es si se va a medir una variable manifiesta o latente y, en este tiltimo caso, si se trata de una variable procedente de la esfera cognitiva o afectiva. Supongamos que las autoridades educativas de un pais llevan a cabo una encuesta entre los alumnos de los centros de ensefianza secun- daria:IOS Y TECNICAS DE INVESTIGACION PSICOLOGICA — el absentismo escolar es una variable manifiesta de la que se puede desear obtener informacién; — el rendimiento académico de los alumnos al finalizar la ensefianza secundaria es una variable latente cognitiva que puede tener también mucho interés para las autoridades educativas y para la sociedad en general; — la actitud de los alumnos hacia grupos minoritarios y socialmente marginados es una variable latente no cognitiva o afectiva de indudable importancia en la formacién civica de los alumnos. 3.2.2. Poblacién diana No se puede evaluar con la misma prueba el rendimiento académico de los niiios al comenzar y al finalizar la educacién secundaria. Algunas preguntas o tems podrian coincidir pero todas no, so pena de evaluar al principio del ciclo educativo con una prueba extremadamente dificil o al final del mismo con una prueba extremadamente facil. En cualquier caso, se estaria operando con una prueba claramente inapropiada para medir el rendimiento académico de los alumnos. Si se procede asi, la fotografia que obtendremos de la realidad puede estar bastante distor- sionada, encontrando un nivel anémalamente bajo al inicio de la ense- fianza secundaria 0 artificialmente alto al finalizar ésta. Del mismo modo que no se puede medir el peso de hormigas y elefantes con la misma balanza (no existe balanza alguna en el mercado capaz de discriminar entre distintos animales de uno y otro grupo: o discrimina entre distintas hormigas o discrimina entre distintos elefantes, pero nunca entre distin- tos animales de ambos grupos), es necesario disponer de pruebas apro- piadas que permitan obtener medidas precisas del rendimiento acadé- mico de los alumnos en uno y otro momento del ciclo educativo y que, ademas, nos permitan diferenciar entre alumnos con distinto rendi- miento en cada uno de esos momentos. Habitualmente, el investigador no solo esta interesado en pesar hormigas y clefantes sino que le interesa también observar si existen diferencias de peso entre distintas hormigas y también entre distintos elefantes. En definitiva, la consideracion de la poblacién objetivo a la que va a ir dirigida la prueba es una cuesti6n decisiva que debe ser claramente expli- citada al formular el objetivo de la misma, ya que ésta definira en parte las caracteristicas que ha de tener la pruebaLOS INSTRUMENTOS DE JON PSICOLOGICA. 1: CONSTRUCCION.. 99 3.2.3, Utilizacién previs Una vez que sabemos qué queremos medir y a quién, hay que ver para qué queremos medir esa caracterfstica o constructo en ese colecti- vo o individuo, es decir, para qué se van a utilizar las puntuaciones obtenidas por los sujetos en ese test. Son muchas las funciones que cumplen los tests. En la actualidad, es incuestionable que los tests for- man parte del entramado social del hombre, utilizandose en muchas ocasiones para tomar decisiones que pueden ser muy importantes en la vida de las personas. Normalmente, desde los primeros aiios de escola- rizacién, los nifios comienzan a responder a tests que serviran para medir sus aptitudes intelectuales y su potencial para el aprendizaje; se utilizarén también para certificar su progreso y su nivel de conocimien- tos, asf como para orientarlos vocacionalmente en el futuro. Mas tarde, los tests pueden abrir (0 cerrar) las puertas a la ensefianza universitaria y, una vez. en el mercado laboral, ayudarén a decidir quién debera cubrir un determinado puesto de trabajo y quién promocionado; ademas, los tests desempefiaran también un papel importante a la hora de determi- nar si un sujeto esta o no bien adaptado a su entorno, si dispone de recursos suficientes para resolver los problemas que se le plantean en su vida cotidiana o si, por el contrario, necesita algtin tipo de terapia para reforzar alguno de estos aspectos. El consumo de tests en nuestra socie- dad es grande: son muchos los millones de escolares, trabajadores, opo- sitores y militares que en la actualidad son examinados regularmente con tests. La tabla 3.1 recoge las principales funciones que suelen desempefiar los tests. 3.3. ESPECIFICACION DEL TEST Una vez establecido el qué, el a quién y el para qué de la prueba que se va a construir, la siguiente fase del proceso ha de definir o especificar por completo la estructura de dicho test. Utilizando una analogfa procedente del mundo de la informatica, la fase de especificacién del test se corres- ponde con el trabajo realizado por el analista que, una vez que ha recibi- do un encargo de un usuario, se dedica a delimitar el ambito que abarca la aplicacién, definir las posibles interrelaciones con otras aplicaciones, estudiar las diversas modalidades de desarrollo, establecer tiempo, recur- sos y presupuesto del que se dispone... Del mismo modo, el constructor del test debe tomar decisiones importantes que van a condicionar y diri- gir totalmente el trabajo en las restantes fases del proceso. En particular, habra que dar respuesta a las siguientes cuestiones:100 METODOS, DISENOS YT INVESTIGACION PSICOLOGICA Tasia 3.1 Funciones desempefiadas por los tests Funcién, Descripcién DiaGNostico Los tests se utilizan, por ejemplo, para detectar déficits com- portamentales en las personas, puntos fuertes y débiles en el aprovechamiento académico de los estudiantes, con el fin de poner en marcha algin programa de tratamiento o de inter- vencién. ‘SELECCION CLASIFICACION Los tests se utilizan, por ejemplo, para decidir si un trabajador es 0 no admitido en un departamento de una determinada empresa o si se acepta o no a un estudiante en un programa de estudios universitarios de tercer ciclo. Los tests se utilizan para asignar a los sujetos a distintas cate- gorias. Por ejemplo, principiante, nivel bajo, nivel medio, nivel alto, perfeccionamiento, etc. CERTIFICACION Los tests se utilizan en la acreditacién profesional o académi a, con el fin de garantizar que un profesional o una persona que ha obtenido una titulacién académica es una persona cualificada y competente en su campo de trabajo u ocupa- cién, que posee en grado suficiente los conocimientos y habi- lidades necesarias para desarrollar su actividad de forma segura y eficiente, esto es, que satisface unos determinados criterios —consensuados— de excelencia, CONSEJO Descrieclon/ INFORMACION Los tests se utilizan para ayudar a los sujetos a examinar dis- tintas opciones educativas, familiares, relacionadas con la carrera profesional del sujeto, con su jubilacién o simplemente con su ocio. Los tests se utilizan, por ejemplo, para obtener informacién acerca del rendimiento académico de un alumno particular, de los alumnos de una determinada comunidad auténoma, o para saber qué porcentaje de los alumnos espaiioles muestra un dominio aceptable de los contenidos basicos de Humani- dades; para obtener informacién acerca de la eficacia de una determinada politica social; para informar la poblacién del sentir ancral tte la opinion piblica respecto a un tema de actualidad, ete.OLOGICA. I: CONSTRUCCION 101 'S INSTRUMENTOS DE MEDICION PSI gCuél va a ser el contenido del test? = CONTENIDO éQué tipo de {tems se van a utilizar en el test? = FoRMATO ‘Cudantos {tems debe tener la prueba? = LoncITUD c Pp Qué propiedades métricas =) CARACTERISTICAS ha de mostrar ésta? (PSICO)METRICAS definitiva, al finalizar esta fase debemos contar con un conjunto claro de directrices que nos digan exactamente qué y cémo vamos a medir, esto es, con qué tipo de items vamos a hacerlo, cémo va a ser de larga la prueba y qué caracteristicas psicométricas debe poseer. Sin embargo, antes de ponernos a trabajar sobre estas cuestiones es preciso que tengamos muy en cuenta el contexto en el que se va a operar. En la fase anterior se defini6 claramente qué se va a medir, a quién y para qué. No obstante, hay que tomar también en consideracién la situacién concreta en la que se va a trabajar para tomar las decisiones correspon- dientes en esta fase. E] analista informatico plantearé el proyecto de un modo u otro en funcién del presupuesto asignado, de las personas dis- ponibles con las que cuenta en ese momento en su equipo y de la fecha de entrega de la aplicacién. Del mismo modo, habrd que ver, por ejemplo, si hay o no restricciones en el tiempo de aplicacion de la prueba. Si se tra- baja con nifios de educacién primaria no es recomendable ir a tiempos de aplicacién superiores a la media hora y, qué duda cabe, no es lo mismo plantearse cudl va a ser la longitud de la prueba o incluso el tipo de items que se pueden utilizar para un mismo objetivo si el tiempo maximo disponible son 20 minutos 0 una hora. Lo mismo puede decirse respecto al tipo de aplicacion prevista para la prueba: individual 0 colectiva, a tra- vés del teléfono o directamente, etc. Estos y otros factores tan decisivos como el tiempo y los recursos disponibles para la construccién de la prueba, sin ser constitutivos de la estructura interna del test, s{ contribu- yen en gran manera a decidir cual va a ser ésta. Por tanto, a la hora de definir 0 especificar la estructura del test —su contenido, formato, lon- gitud y caracterfsticas psicométricas— es preciso tener siempre en cuen- ta estos pardmetros que definen el marco en el que necesariamente hemos de movernos. 3.3.1. Contenido Teniendo en cuenta a quién se dirige la prueba y para qué se va a uti- lizar, lo primero que ha de hacer el constructor del test es representar empiricamente la caracteristica 0 constructo que se desea medir, es decir, identificar o especificar conductas 0 respuestas observables que se pue- dan utilizar como indicadores empiricos de la variable o constructo que102 __ METODOS, DISENOS Y TECNICAS DE INVESTIGACION PSICOLOGICA se desea medir. En definitiva, se trataria de pasar del plano te6rico al que se hacfa alusi6n al hablar de la medicién psicoldgica en el capitulo ante- rior al plano empirico (véase figura 2.1). ¢Como? La situacién ideal es que dicho constructo forme parte de un modelo tedrico de cuya formulacién se derive directamente la representacién empirica del mismo, que sea la teoria la que delinee la forma en la que se va a representar empiricamente esa caracteristica 0 constructo. Tam- bién en este caso lo ideal dista un buen trecho de lo real, ya que en Psi- cologia todavia no son muy frecuentes este tipo de modelos. ;Qué hacer entonces? Crocker y Algina (1986) proponen seguir alguna de las siguien- tes estrategias: — Anilisis de contenido. Para definir empiricamente el constructo lo que se hace es lo siguiente: se plantean preguntas abiertas a los sujetos, sus res- Ppuestas son agrupadas por temas y los temas mas recurrentes son considerados como las dimensiones principales del constructo. — Revisién bibliografica. El constructo se define a partir de las conductas que han sido estudiadas con mas frecuencia en investigaciones anteriores. — Incidentes criticos. Se definen mediante una lista de conductas (0 incidentes) cri- ticas los extremos del continuo que representa al constructo en cuestion. — Observaci6n natural. Para definir el constructo se identifican conductas mediante la observacién directa. — Opinién de expertos. Se recurre a personas que tienen informacion de primera mano para definir el constructo. — Objetivos de la instrucci6n. Para pruebas de rendimiento el constructo se define a partir de la especificacién de los objetivos que se pretenden cumplir con un determinado curso o programa de instruccion. — Muestreo del dominio del item. Esta estrategia es caracteristica de situaciones en las que la funcién desempefiada por el test es la certificacién/acreditacién académica o profesional del sujeto o la descripcién/informacién (véase tabla 3.1). Consiste en lo siguiente: se trata de definir unaLOS INSTRUMENTOS DE MEDICION PSICOLOGICA. I: CO 103 poblacién de ftems de la que se extraerA una muestra o subcon- junto de éstos para formar el test. Interesante, pero poco practico, por lo que se han formulado alternativas como la estrategia de especificacién del dominio (Popham, 1975) Ahora bien, la aproximacién més habitual, la que utilizan, por ejemplo, las empresas de tests mas importantes en [Link]. (American College Tes- ting, California Bureau Test, Educational Testing Service) es la conocida como tabla de especificacion del test. Se utiliza, sobre todo, para construir s que miden variables latentes en el Ambito cognitivo y consiste en una tabla de doble entrada como la tabla 3.2 en la que: — Las columnas indican distintas areas de contenido relevantes para el constructo en cuestion. Por ejemplo, si se desea evaluar el rendimiento en Mateméaiti- cas, estas Areas podrian ser las siguientes: Geometria, Medicién, Nuimeros y operaciones, Organizacién e interpretacin de datos, Relaciones, funciones y expresiones algebraicas y Logica y solu- cion de problemas. — Las filas indican las distintas operaciones 0 procesos cognitivos implicados en la resolucién de las tareas planteadas por las pre- guntas 0 items de la prueba. Bloom (1956) propone quizé el sistema mas conocido de cate- gorizacién jerarquica de estas operaciones cognitivas. En la figu- ra 3.2 se ilustra graficamente la jerarquia propuesta para el domi- nio cognitivo. — Las celdillas indican el porcentaje de items que tiene que haber en la prueba que midan el area de contenido de la columna en cues- tién y cuya resolucién ponga en marcha el proceso cognitivo de la fila correspondiente. Obviamente, este porcentaje lo que esta refle- jando es el peso que tiene para el constructor del test el area de contenido y el proceso cognitivo asociados con dicha celdilla (aten- diendo, por ejemplo, al tiempo que se ha dedicado durante el cur- So a esas cuestiones, a la importancia que se les atribuye en la for- maci6n del alumno, etc.). Observe el lector que no es necesario trabajar con todas las celdillas de una tabla de especificacién: el constructor del test puede perfectamente seleccionar unos pocos procesos cognitivos o incluso combinar categorias segtin sus pro- pias necesidades.104 METODOS, DISENOS Y TECNICAS DE INVESTIGACION PSICOLOGICA Tasia 3,2 Ejemplo de una tabla de especificacién de una prueba de rendimiento en Matematicas lor = coon] mon | Dagon |i enc "a OMS | de datos [NPP betes CONOCIMIENTO 5 a 10 4 3 10 a CCOMPRENSION 3 2 2 7 a 3 20 APUCACION, 5 2 1 1 1 5 15 ANAUSIS. 1 2 1 4 1 é 15 SINTESIS 1 2 1 1 1 1 7 EVALUACION, 2 1 1 2 1 1 8 17 12 16 19 10 26 Complejo Sintesis 4. Analisis 3. Aplicacion 2. Comprensién 1. Conocimiento Simple Figura 3.2. Taxonomic de Bloom para el dominio cognitivo. 3.3.2. Formato ‘Ya sabemos cual va a ser el contenido de la prueba; veamos, a conti- nuaci6n, de qué tipo de ftems o preguntas disponemos para construir una prueba con ese contenido, La primera variable que hay que considerar es el tipo de caracteristica o variable que se va a medir —cognitiva 0 no cog- nitiva— ya que ésta determina por completo el tipo de item a utilizar yla prueba resultante. ieLOS INSTRUMENTOS DE MEDICION PSICOLOGICA. I: CONSTRUCCIO Ambito cognitivo De un modo muy general, se pueden considerar dos grandes catego- rias de items (Haladyna, 1994): los que exigen que el sujeto seleccione una (0 varias ) opcidn(es) de entre las propuestas y los que requieren que el sujeto construya o elabore la respuesta (items de eleccién versus {tems de construccién). Dentro de los ftems de eleccién se encuentran: — Los tems de eleccién multiple, en los que el sujeto escoge la res- puesta que considera correcta entre tres 0 mas alternativas de respues| El rio mas caudaloso de Espatia es: A) Ebro B) Duero C} Tajo D) Guadiana E] Guadalquivir — Los ftems de eleccién binaria o alternativa, con solo dos opciones posibles de respuesta: El Guadalquivir es el rio més caudaloso de Espata VF El rio mas caudaloso de Espaiia es el: A) Duero B) Ebro — Los ftems de emparejamiento, en los que la tarea del sujeto es rela- cionar lo que aparece en una columna -columna de premisas- con Jo que aparece en una segunda columna - columna de respuestas- de acuerdo con las instrucciones que se proporcionan para ello: Escriba en la Ifnea que aparece a la izquierda de cada rio de la columna A Ia letra correspondiente al pais de la columna B en el que se encuentra. Cada pais de la columna B solo puede ser utili- zado una vez. COLUMNA A COoUMNA B 1. Rhin A. Francia 2. Volga B. Rusia —— 3. Garona C. Gran Bretafia 4. Tamesis D. Alemania106 METODOS, DISENOS Y TECNICAS DE INVESTIGACION PSICOLOGICA Dentro de los items de construccién hay una enorme variedad de formatos que van desde pequefias adaptaciones de {tems de eleccion multiple hasta tareas del tipo de realizar informes orales o escritos, pre- sentaciones, experiments, revisiones, proyectos, portfolios, etc, Este nuc- vo tipo de items se enmarca dentro del denominado movimiento de la medicién auténtica o alternativa. Simplificando considerablemente la cuestién, se pueden distinguir dos grandes categorias: 1. Los ftems de respuesta corta o de completar, que solo requieren del sujeto como mucho unas pocas palabras. El rio mas caudaloso de Espafia es . 2. Los items de respuesta extensa en los que lo que se le pide al suje- to es algo mas que escribir unas pocas palabras. Por ejemplo, se le puede pedir que escriba una redaccién sobre un tema o que arregle el motor de un coche. Describa de forma precisa el curso y caracteristicas del rio Ebro, desde su nacimiento hasta su desembocadura. Cuando los tems implican tareas muy semejantes a las desa- rrolladas por el sujeto en su entorno (académico o laboral) se sue- le hablar de items de valoracién de la actuacién (performance assessment): son {tems que tratan de simular o emular el contexto o las condiciones en las que se han de aplicar realmente los cono- cimientos o las habilidades que se desea evaluar, sirven justamen- te para saber no tanto si el alumno sabe cémo se hace una cosa sino si de verdad sabe hacerlo. Dentro de éstos esta cobrando bas- tante protagonismo el portfolio, que consiste en un conjunto de trabajos o tareas recogidas a lo largo del tiempo (véase, por ejem- plo, Archbald y Newman, 1992) Qué tipo de ftem utilizar en cada caso? De nuevo no hay respuestas unfvocas. Depende claramente de la variable 0 constructo que se desee medir y de cémo se haya representado empfricamente dicha variable. Como indicacién de cardcter general, se suelen utilizar los items de elec- cién y de respuesta corta para medir aspectos del contenido que pueden poner en marcha procesos cognitivos relacionados basicamente con los conocimientos adquiridos, con su comprensién y aplicacién (los tres niveles ms bajos de la jerarquia de la taxonomia de Bloom, ilustrada en la figura 3.2), en tareas mas vinculadas con procesos de reconocimiento (items de elecci6n) o de recuerdo (items de respuesta corta). Por su parte, los items de respuesta extensa estén mas indicados para los procesos cognitivos en los niveles més altos de la jerarquia anterior (andlisis, sin. tesis, evaluacién), cuando lo que se pretende es evaluar la capacidad para organizar e integrar ideas, para presentar argumentos ldgicos yLOS INSTRUMENTOS DE MEDICION PSICOLOGICA. I: CONSTRUCCION... 107 defender una determinada postura, etc. Todo ello sin perjuicio de que se pueden utilizar -y, de hecho, se utilizan- items de respuesta extensa para evaluar conocimientos y preguntas de eleccién multiple para evaluar procesos cognitivos mas complejos de los sefialados. En cualquier caso, la recomendacion general serfa trabajar con el tipo de ftem que proporcione Ia medida mis directa de aquello que queremos medir. Si deseamos saber como toca el piano un alumno, nada mejor que pedirle que interprete una partitura, No obstante, en igualdad de condiciones Gronlund (1991) reco- mienda optar por los ftems de-eleccién, dada su mayor cobertura del contenido, En la tabla 3.3 se presenta de forma resumida algunas de las caracte- risticas mas sobresalientes de los ftems de eleccién y de construccién. Tass 3.3 Caracteristicas de los items de eleccién y de construccién TiPo DE fTEM Caracteristica Eleccién | Construccién Facil de construir No Si Facil de corregir Si No Correccién objetiva Si No Amplia cobertura del contenido Si No Se puede responder correctamente al azar Si No Influye la habilidad del sujeto a la hora de escribir No Si Se necesitan muchas preguntas Si No. En la ultima década los items de construccién (sobre todo, los items de respuesta extensa) han suscitado mucho interés y, de hecho, se estan utilizando incluso en proyectos de evaluaci6n a gran escala que implican a miles de estudiantes. Las razones hay que buscarlas, por un lado, en la necesidad de evaluar no solo conocimientos sino también habilidades cognitivas de orden superior, los procesos cognitivos que subyacen a la solucién de problemas, los cambios dinamicos en las estrategias de los estudiantes, la forma en la que éstos estructuran y representan el cono- cimiento, etc.; por otro, en el interés creciente de la comunidad educativaMETODOS, DISENOS Y THCNICAS DE INVESTIGACION PSICOLOGICA por la evaluacién formativa (y no solo sumativa) y la exigencia cada vez més acuciante de vincular adecuadamente la evaluaci6n y la instruc- cién. Este es un barco demasiado grande para los tests de eleccién mtil- tiple que han recibido numerosas y fuertes criticas en los tiltimos tiem- pos. Sin embargo, la evidencia en contra no es tan fuerte como se ha pretendido y queda todavia por demostrar la mayor eficiencia de los tests de respuesta construida (Hambleton y Murphy, 1992). No en vano los items de eleccién miiltiple constituyen el formato mas generalizado en la evaluacién psicologica y educativa. Ambito no cognitivo Cuando lo que se pretende evaluar son variables procedentes no del Ambito cognitivo sino del afectivo u oréctico (personalidad, valores, acti- tudes, opiniones, intereses, etc.) se pueden utilizar basicamente dos tipos de items: 1. Los ftems de respuesta abierta, en los que el sujeto escribe direc- tamente su respuesta. En su opinién, gcudl es el problema més importante al que se enfrenta actualmente la sociedad espafiola? 2. Los items de respuesta cerrada, en los que el sujeto responde eli- giendo (una de) entre las distintas opciones propuestas. Las prue- bas no cognitivas formadas por items de respuesta cerrada se conocen como escalas de valoracién (rating scales). En su opinién, gcudl es el problema mas importante al que se enfrenta actualmente la sociedad espafiola? A) El paro B) El déficit presupuestario C) La delincuencia D) El terrorismo E) La inflacién Dentro de las escalas de valoracién se puede distinguir entre las esca- las de categorias y los listados (checklists). Las escalas de categorias constan de items formados por un enun- ciado y un conjunto de categorias que pueden estar ordenadas 0 no (como en el ejemplo anterior). Un ejemplo de un item con categorias ordenadas seria el siguiente:LOS INSTRUMENTOS. El terrorismo es el problema mds importante al que se enfrenta actualmente la sociedad espafiola’ A) Totalmente de acuerdo B) De acuerdo C) Ni de acuerdo ni en desacuerdo D) En desacuerdo E} Totalmente en desacuerdo F) No tengo opinion Cuando las categorias ordenadas utilizadas denotan el grado de acuer- do 0 desacuerdo con la afirmacion contenida en el enunciado del item, la escala se suele denominar escala de actitud o también escala Likert. Aho- ra bien, las categorfas utilizadas pueden expresar otros muchos aspectos de la caracteristica, de las conductas 0 de los hechos examinados en la prueba, como su frecuencia, intensidad, etc. La tabla 3.4 recoge las esca- las de categorfas mas frecuentemente utilizadas. En cualquier caso, lo que se le pide al sujeto es que se posicione respecto a un objeto, sujeto, hecho © idea, esto es, que considere las categorias proporcionadas y las etiquetas utilizadas, que examine sus opiniones o sentimientos y los site en la categoria apropiada. De esta forma se puede obtener el valor de escala 0 medida del sujeto en la caracterfstica que trata de evaluar esa escala de categorfas Los listados son un tipo de escala de valoracién consistente en un conjunto o lista de términos, frases o afirmaciones relativas a un objeto (sujeto, hecho o idea), en los que la tarea del sujeto se reduce a marcar con una cruz los elementos de la lista que en su opini6n sean aplicables al objeto que se esta valorando. Marque con una cruz los problemas mas importantes a los que en su opi- nién se enfrenta actualmente la sociedad espafiola: A) El paro B) El déficit presupuestario. C) la delincuencia D} El terrorismo E) Lo inflacién F) La educacién G) la sanidad H) El deterioro medioambiental110 __METODOS, DISENOS Y TECNICAS DE INVESTIGACION PSICOLOGICA Tala 3.4 Escalas de categorias mas frecuentemente utilizadas Aspect considerado Categorias T Ejemplo ACUERDO. Totalmente de acuerdo/ De acuerdo/ Ni de acuerdo ni en desacuerdo/ En desacuerdo/ Totalmente en desacuerdo El submarino nuclear Tireless debe ser reparado en territorio britanico, FRECUENCIA Diaria/ Casi diaria/ Varias veces por semana/ Varias veces al mes/ Con menor frecuencia aCon qué frecuencia consume alechol? Muy a menudo/ Bastante a menudo/ De vez en cuando/ Pocas veces/ Nunca gCon qué frecuencia habla de politica con sus compafieros de trabajo? Casi siempre/ Mas de la mitad de las veces/ La mitad de las veces/ Menos de la mitad de las veces/ Pocas veces/ Nunca 3Con qué frecuencia el dolor menstrual le impide acudir a su lugar de trabajo? Ayer/ De 2.07 dias/ De 8 dias aun mes/ Hace més tiempo Sin contar el dia de hoy, cuan- do ha sido Ia Gltima vez que ha escuchado la programacion de alguna cadena de radio o tra vés de Internet? CANTIDAD. Mucho/ Algo/ Solo un poco/ Nada en absoluto gQué cantidad de dolor ha experimentado durante el dlti- mo mes? ‘SENTIMIENTOS VALORACION Encantado/ Contento/ Satisfe | cho/ Descontento/ Mal 2Cémo fe sueles sentir tras reali- Zar un examen? QOOOOS ce Oe Excelente/ Muy buena/ Buena/ Regular/ Mala 2Cémo te sueles sentir después de las vacaciones? En general, usted diria que su salud es | 012345678910 En una escala de 0 a 10 donde es lo peor y 10 lo mejor indi- que en qué medida esta satisfe cho con los transportes piblicos | de su ciudad.| IENTOS DE MEDICION PSICOLOGICA. I: CONSTRUCCION. i LOS INSTRU} Marque con una cruz los adjetivos que mejor describan a su profesor de Matematicas: __ A) Estimulante ____ 1) Preocupado por los alumnos ____ B) Considerado ___ J} Creative ___ C} Paciente ____ Kj Didéctico ___ D} Preparado ___ U) Motivador ___E) Atento ____ M| Interesante ___ F) Organizado __N) Puntual ___ G) Conocedor de la materia. ___N)_ Dinamizador ___ H) Cercano ___ O} Elocuente Los listados constituyen un procedimiento muy sencillo, barato y bastante preciso para describir o evaluar a una persona. Al igual que las escalas de categorias son faciles de construir, de administrar y de puntuar y muy versatiles en sus aplicaciones. En efecto, las escalas de valoracion —escalas de categorias y listados— se pueden utilizar para evaluarse a uno mismo (autoinformes) o a otras personas para las que nos resultan familiares su personalidad, su conducta o sus capacidades (Aiken, 1996). A pesar de estas indudables ventajas, no siempre es conveniente recurrir a pruebas con items de respuesta cerrada. Por ejemplo, si se esta intere- sado en saber qué piensan realmente los sujetos de un tema puede ser mas apropiado darles la oportunidad de expresarlo con sus propias pala- bras y no con las elegidas por el investigador; de esta forma es posible obtener puntos de vista con los que no se contaba a priori o pueden surgir aspectos que previamente no se habfan anticipado. También es preciso recurrir a este tipo de items cuando el rango de posibles respuestas exce- de con mucho una longitud razonable (cuales son sus aficiones?), cuan- do es imposible listar todas las posibles respuestas (gcual es su cancién favorita?), cuando se desea obtener informaci6n sobre una situacién compleja o delicada, etc. La contrapartida tiene que ver basicamente con las dificultades y costos aftadidos en la aplicaci6n y correccién/codi- ficacién de las respuestas en la prueba, como tendremos ocasion de ver més adelante. De todas formas, al igual que cuando se trabaja en el Ambito cognitivo, el formato mds apropiado para la prueba es siempre el que proporciona una medida mas directa de la caracteristica que se desea medir.112 METODOS, DISENOS Y TECNICAS DE INVESTIGACION PSICOLOGICA 3.3.3. Longitud El camino recorrido hasta ahora indica qué porcentaje de items hay que crear para cada celdilla de la tabla de especificacion y con qué tipo de ftems se va a trabajar en la prueba, pero ¢cuantos {tems ha de tener en total ésta? De nuevo nos enfrentamos a una cuestién en absoluto baladi y para la que no existe una tinica respuesta. En efecto, como podra comprobar el lector en el capitulo 6 la longitud y la fiabilidad de una prueba estan directamente relacionadas, de forma que cuanto més larga es la prueba, mis fiable resulta, esto es, proporcio- na medidas més precisas de la caracteristica que mide. Esto es cierta- mente deseable pero hay que tener también presente que en una prueba larga los efectos de la fatiga y de la pérdida de motivacion del sujeto pueden introducir més error del que eliminan en la medida obtenida, Es también importante tener en cuenta para qué se va a utilizar el test. Si éste se va a utilizar para tomar una decisién importante en relacién al sujeto, las exigencias de precisién son maximas, por lo que la prueba en principio sera mas larga que la prueba que se utilizaria, por ejemplo, para monitorizar el progreso educativo de un alumno a lo largo del curso. Asimismo, es preciso contar con factores externos a la prueba que con- dicionan decididamente sus caracteristicas. Por ejemplo, si solo se dis- pone de 45 minutos para que los sujetos respondan al test es dificil pensar en pruebas que tengan mas de 60 items de eleccién multiple. Si las pre- guntas no son de eleccién miiltiple, obviamente el ntimero de items del test sera menor. Ahora bien, también hay que tener en cuenta las carac- teristicas de la poblacién a la que se dirige la prueba (previamente defi- nidas en el objetivo del test): el ritmo de trabajo no es el mismo en nifios de 11 y 17 aftos de edad o entre alumnos sin dificultades de aprendizaje y alumnos con necesidades educativas especiales. En Iineas generales, se recomienda tomar en consideraci6n a los sujetos més lentos a la hora de determinar el ntimero de items de la prueba (en pruebas de potencia es preciso dar a todos los sujetos la oportunidad de responder a todos los items del test) y se considera que un alumno de bachillerato 0 universi- tario puede responder por minuto un {tem de eleccién mtiltiple, o tres de respuesta corta o de eleccin binaria, siempre y cuando esos items midan conocimientos; mas tiempo serfa necesario si el proceso cognitivo impli- cado es de aplicacién 0 comprensién (Gronlund, 1991). En resumen, no se puede tomar una decision acerca de la longitud de la prueba sin tener. en cuenta muchos factores, tanto de cardcter interno como externos al test. Una posible forma de operar es decidir cudl es el nimero minimo deseable de items en cada celdilla de la tabla de especificacién, Supon- gamos, por ejemplo, que ese niimero es tres. Buscamos en la tabla deLOS I {TOS DE MEDICION PSICOLOGICA. 1: CONSTRUCCION.. 113 especificacién la celdilla con el menor porcentaje de items (el 1% en la tabla 3.2, que corresponde a un buen ntimero de celdillas de esa tabla). Si sabemos que el 1% de los items de la prueba son 3 items (0 los que se decida en cada caso) podemos calcular directamente la longitud de Ia misma mediante una sencilla regla de tres: 1 3 100 n La longitud de la prueba sera por tanto n = 100 x 3/1 = 300 items. Para determinar el ntimero de items del resto de las celdillas habria que realizar otras tantas reglas de tres, Por ejemplo, el ntimero de items de organizacién e interpretacién de datos que pongan en juego procesos de andlisis que debe haber en la prueba, de acuerdo con la tabla de especificacién anterior, es un 4 por 100, esto es, 300 x 4/100 = 12 items. Si al proceder de este modo obtenemos una prueba con una longitud excesiva, dadas las condiciones previstas para la aplicacién del test y/o los recursos y tiempo disponible para el trabajo, se pueden combinar algunas categorias de las columnas (por ejemplo, medicién + organizacion e interpretacién de datos, ntimeros y operaciones + relaciones, funciones y expresiones algebraicas) o de las filas (por ejemplo, anélisis + sintesis, comprensién + evaluacién) y recalcular el ntimero de items por celdilla en esa tabla de menor dimensién. Tal como puede observarse en la tabla 3.5, la casilla con un menor ntimero de items tiene ahora un 2 por 100, que supondria una longitud para la prueba de 100 x 3 /2 = 150 items, justa- mente la mitad. Otra posibilidad es decidir el ndmero minimo de {tems por columna y fila, y no por celdilla. Por ejemplo, se puede establecer un minimo de 10 items por fila y columna. Si acudimos a la tabla 3.5, el por- centaje més bajo corresponde a la fila aplicacién (15%). Por tanto, la longitud de la prueba sera 100 x 10/15 = 66,6 ~ 67. 3.3.4. Caracteristicas psicométricas Ya sabemos cudntos {tems —y de qué tipo— han de medir cada uno de los indicadores empiricos mediante los cuales se ha representado la caracteristica o constructo que mide el test. La siguiente pregunta es cémo tienen que ser esos items. Es decir, cual es el nivel de dificultad que han de tener —solo en el caso de que se trate de una prueba cognitiva, claro esté— y cual debe ser su capacidad para discriminar entre sujetos que poseen en distinto grado la caracteristica evaluada por la prueba. De nuevo la respuesta es depende. {De qué? De la utilizacion prevista para el test.li4 METODOS, DISENOS Y TECNICAS DE INVESTIGACION PSICOLOGICA Tasla 3.5 Reagrupacién de las categorias de una tabla de especificacion de una prueba de rendimiento en Matematicas Medicin+ | Nomeros y Leek ao Organ. | operaciones + ico Geometria | 5 interpretaci6n |Rel, une. y expr. At de datos algebraicas © problemas Conocimento 5 7 13 10 35 COMPRENSION + EVALUACION | 5 12 7 4 28 APUCACION 5 3 2 5 15 ANAUSIS + SintEsIs 2 9 4 7 22 7 31 26 26 Supongamos que se desea detectar a los alumnos mis brillantes de la clase. La prueba a utilizar debera estar formada por {tems muy dificiles que nos permitan discriminar o diferenciar entre los sujetos situados en el extremo superior de la distribucién de frecuencias (véase figura 3.3 parte A). Si a estos alumnos se les aplica una prueba con {tems de dificultad media o baja, responderan a todos correctamente, por lo que todos ellos tendrén la misma puntuacion en la prueba y no podremos diferenciar entre alumnos mas y menos brillantes. Por el contrario, si lo que se desea saber es el nivel general de cono- cimientos en una determinada area de una poblaci6n de estudiantes, la prueba deberé contener basicamente items de dificultad media ya que son éstos los que més discriminan en la zona central de la escala, que es justamente la que suele recoger la mayor parte de la poblacién (véase figura 3.3 parte B). Habilidad Rendimiento FicurA 3.3. llustracién del objetivo de dos pruebas diferentesLOS INSTRUMENTOS PSICOLOGICA. I: CONSTRUCCION. En definitiva, la dificultad de los items de la prueba debe ser apro- piada para la poblacion de sujetos a la que ésta va destinada ya que, solo si es asi, permitird el test diferenciar entre sujetos que poseen en dis- tinto grado la caracterfstica que estamos midiendo. En el capitulo 8 se entra en detalle en el estudio de las caracteristicas métricas de los items. En resumen, al finalizar la segunda fase de la construccién de un test hemos detallado por completo su estructura, hemos disefiado los planos para construir el test: — Se ha trazado un mapa con los contenidos del test, mediante una tabla de especificacién 0 cualquiera de los otros procedimientos descritos que hacen posible pasar del plano te6rico, en el que se encuentra la caracterfstica 0 constructo que se desea medir, al pla- no empfrico, en el que se encuentran las conductas o respuestas observables que constituyen los indicadores empiricos del primero. — Se ha decidido cuantos {tems han de formar la prueba, cual va a ser el formato de esos {tems y sus caracteristicas psicométricas. tamos pues en disposicién de empezar a construir los items, los ladrillos del test, auténtica piedra angular sobre la que se asienta el edi- ficio del test. 3.4. CONFECCION DE LOS [TEMS Tradicionalmente, la redaccién de items ha sido considerada mas un arte que una ciencia, un arte mas dependiente de la inventiva y creativi- dad del autor que de la aplicacion de reglas; en suma, hasta hace muy pocas décadas la confeccién de los items se ha dejado en manos de la intuicion y de la inventiva del autor (Prieto y Delgado, 1996). Esto expli- ca el escaso tratamiento que este tema ha recibido en la literatura cienti- fica. Como sefiala Haladyna (1994), la redaccién de items carece de la rica tradicién teérica observada en el campo de la teorfa de Jos tests destinado a analizar las puntuaciones obtenidas justamente con esos items. Afortunadamente, en los tiltimos afios la tonica esta cambiando y se ha asistido a la publicacién de algunos trabajos monogréficos sobre él tema (véase, por ejemplo, Bennett y Ward, 1993; Converse y Presser, 1986; Gronlund, 1991; Haladyna, 1994; Osterlind, 1989) y a algtin que otro intento de sistematizacién de la cuestién (Haladyna y Downing, 1989). Lo primero que hay que hacer es seleccionar a las personas que se van a encargar de redactar o construir los items. Habitualmente, son expertos en el contenido que va a evaluar la prueba los que se ocupan de confec-116 _METODC (OS Y TECNICAS DE INVESTIGACION PSICOLOGICA cionar los ftems siguiendo las directrices emanadas de la fase de especi- ficacién del test. Es deseable, ademas, que estén familiarizados con la poblacién de sujetos a la que va destinada la prueba. Lo ideal es que se construyan tres veces mas items de los necesarios (Bloom, Madaus y Hastings, 1981) 0, al menos, un 25 por 100 mas de los que se necesitan (Hopkins, 1998), con el fin de poder garantizar que al final se dispondr4 del ntimero previsto de items y de items apropiados. Dado que las perso- nas que se suelen ocupar de la confeccién de los ftems no son expertos en medici6n sino expertos en el contenido a evaluar, es conveniente entre- narlos 0, en cualquier caso, proveerles con unas directrices 0 recomen- daciones generales que han de seguir a la hora de redactar los items. 3.4.1. Recomendaciones generales Estas sugerencias 0 recomendaciones generales a la hora de escribir los items se basan en esa tradici6n artfstica colectiva y también en una tradicién colectiva de investigacién (Converse y Presser, 1986), esto es, en el saber de expertos en tests y medicién y en ei sentido comin, por lo que pueden parecer tan obvias y evidentes que incluso podrian darse por sentadas. Sin embargo, la realidad pone de manifiesto una vez mas que el sentido comtin no es el mas comtin de los sentidos y que lo obvio no siempre es evidente, dada la gran cantidad de items o preguntas poco cla- ras y ambiguas que hay en numerosas encuestas de opinién, en exdme- nes, en pruebas de aptitud y de rendimiento, etc. En muchas ocasiones, uno esta tan implicado en lo que esta haciendo que lo formulado en una pregunta le resulta muy claro a él pero mucho menos a los que tienen que responder a la misma. Muy brevemente, las tres reglas de oro para escribir buenos items o preguntas serian las siguientes: — Escribir de forma clara, simple, precisa y concisa. El {tem ha de ser lo mas corto posible, evitando la inclusién de palabras o frases irrelevantes que normalmente solo sirven para complicar innecesariamente la lectura de la pregunta y para incre- mentar el tiempo que tiene que emplear el sujeto en responder, lo que reduce el mimero de items que se pueden incluir en la prueba Payne (1951) recomienda que los items no contengan mas de 20 palabras El enunciado del item ha de estar perfectamente definido y cla- ra ¢ inequivocamente formulado. Es decir, la pregunta debe pro- porcionar un marco de referencia comtin en el que todos los suje- tos respondan a lo mismo (términos aparentemente tan claros| | LOS INSTRUME 117 TOS DE MEDICION PSICOLOGICA. 1: CONSTRUCCION como familia o vecindario pueden significar cosas distintas para distintos sujetos, por lo que conviene definir claramente a qué nos estamos refiriendo exactamente cuando hablamos de familia, vecindario 0 lo que sea). Es necesario concretar y acotar: una buena pregunta es aquella que es entendida por todos los sujetos de la misma forma y justamente de la forma en la que esperaba el investigador que lo hicieran (Fowler, 1995). Asimismo, hay que evitar cualquier clase de ambigiiedad o generalidad que puedan crear algtin tipo de confusion. Por ejemplo, conviene no introducir en el enunciado términos como siempre, nunca, todo, nada, com- pletamente, exclusivamente, etc., sobre todo, en {tems de eleccion binaria de verdadero 0 falso. En este caso, estos términos pueden producir confusién en el sujeto (no saben muy bien cémo res- ponder) o pueden proporcionar pistas para dar con la respuesta correcta. En efecto, es mucho mas probable que un {tem con esos términos sea falso ya que muy pocas cosas ocurren siempre 0 no ocurren nunca. Por el contrario, cuando se introducen términos como apenas, poco, a veces, en general, solamente, etc. es mucho més probable que el item sea cierto. Este tipo de claves puede poner al sujeto en la pista de la respuesta correcta aun sin éste conocerla, por lo que estos términos deben ser cuidadosamente evitados al redactar los items. Cuidar el lenguaje. Es preciso utilizar un lenguaje que sea facilmente comprensi- ble para todas las personas que vayan a responderlo, hay que construir frases gramaticalmente correctas y el vocabulario debe ser apropiado. Siempre que sea posible, conviene evitar introducir negaciones en el enunciado del ftem. Resulta més dificil responder aeste item: No son infrecuentes los novillos entre los alumnos de ensefianza secundaria A} Totalmente de acuerdo B) De acuerdo C) En desacuedo D) Totalmente en desacuerdo que al mismo item eliminando los términos negativos del enun- ciado (Son frecuentes los novillos entre los alumnos de ensefianza secundaria). Una norma importante es que a una persona le debe resultar igual de facil responder Sf a una pregunta que responder NO (Weisberg, Krosnick y Bowen, 1996).118 METODOS, DISENOS Y TECNICAS DE INVESTIGACION PSICOLOGICA Puede resultar confuso responder si se esta o no de acuerdo con una afirmacién que contiene una negacién. En el caso de ser necesario formular un {tem de forma negativa, conviene enfatizar el término negativo: Todos los rios siguientes son europeos EXCEPTO! A) Danubio B) Po C) Potomac D) Sena — Expresar una tinica idea por ftem. Es preciso incluir sola una idea por enunciado y no varias combinadas: hay que evitar preguntar dos cosas al mismo tiempo. A menudo, el investigador pide al sujeto que dé una tinica res- puesta a un item que contiene una combinacién de preguntas, confundiendo al sujeto que no sabe a qué responder. La fibra juega un papel importante en la regulacién de! movimien- to intestinal pero no proporciona ningén aporte calérico al orga- nismo, VF gEsté a favor de reducir el consumo de tabaco incrementando los impvestos por cajetilla? si No Existe un consenso generalizado en que la habilidad mas importante ala hora de escribir buenos items es la capacidad del autor para expre- sarse con claridad y de forma sucinta. Si no somos capaces de utilizar un vocabulario apropiado 0 redactamos el item de forma vaga, de manera que tenga mAs de una interpretaci6n, ese item no esta midiendo la habi- lidad que en principio deberia evaluar sino la riqueza de vocabulario del sujeto u otra posible habilidad o procesos que se pueden poner en marcha dada la ambigua formulacion del enunciado. En cualquier caso, defi- ciencias en la redaccién de los items conducen a obtener medidas inade- cuadas de los sujetos que, por ejemplo, pueden Ilevar a concluir errénea- mente que el sujeto no domina adecuadamente un Area determinada de contenido cuando lo que sucede en realidad es que el ftem 0 los items no estan midiendo lo que deberfan. En el ejercicio 3.8.1 se propone un conjunto de items con errores frecuentemen- te cometidos que el lector debe descubrir 0 identificar.3.4.2. En el dominio cognitive Ademis de las recomendaciones generales recogidas en el subaparta- do anterior, hay que tener también presentes las siguientes recomenda- ciones especificas a la hora de escribir {tems de eleccién multiple: Para los demas tipos de items de eleccién y para los items de construccién vease Gronlund (1991, capitulos 4 y 5) y Mehrens y Lehman (1991, capitulos 5 y 6). 1. Bl enunciado debe contener la idea central y la mayor parte del tex- to del {tem, evitando asf repetir palabras en las distintas opciones de respuesta. 2. Las opciones de respuesta deben aparecer al final del enunciado y no a la mitad de éste. 3. El item debe tener una tinica respuesta correcta (o una tunic: mejor respuesta), a no ser que las instrucciones de la prueba digan lo contrario. 4. Hay que evitar como alternativas de respuesta Todas las anteriores y Ninguna de las anteriores, ya que sirven basicamente para con- fundir a los que responden. . Ordenar las opciones de respuesta de forma légica o secuencial y evitar que las alternativas se solapen. 6. Controlar la posicién en la que aparece la opcién correcta de res- puesta en los items de una prueba para evitar un patrén sistema- tico que puede ser detectado por los sujetos, esto es, variar aleato- riamente la posicién de la opcién correcta de respuesta en los items del test. 7. Evitar dar pistas acerca de la opcién correcta de respuesta. Ademas de no incluir términos como los comentados ante- riormente (nunca, todo, por lo general, a veces, etc.) hay que pres- tar atencién a: — Indicios gramaticales: ge se denomina a un poigano de echo nguos y ocho fados? A) Tetraedro B) Pentagono120 METODOS, DISENOS Y TECNICAS DE INVESTIGACION PSICOLOGICA C} Hexagono D) Octégono £) Dodecaedro — ftems que pueden proporcionar claves para responder a otro item de la prueba. — No hacer sistematicamente més larga la opcidn correcta de respuesta. — La plausibilidad de todas las opciones de respuesta: todas Jas alternativas de respuesta —la correcta y las incorrectas o distractores— deben parecer razonables a un sujeto que desconoce la respuesta correcta. Si se esta preguntando por los afluentes de un rio espatiol no se puede poner como opcién de respuesta un rfo chino, ya que esa opcién no distrae a nadie, no es una alternativa real o efectiva de res- puesta ya que todos los sujetos —incluidos los que desco- nocen los afluentes del rfo en cuesti6n— la descartarian directamente. | MC. Toxonome de teglos para eccribir tons de cle. clon muiple | Para generar ideas para construir los items se puede acudir a textos, manuales, libros de problemas, periédicos, revistas, obras de referencia, © incluso el propio trabajo de los estudiantes puede ser bastante revelador de puntos problematicos que pueden constituir la base de {tems discri- minativos. Para construir los distractores lo mas habitual es recurrir a los errores m4s comunes de los sujetos, a interpretaciones erréneas fre- cuentes y a respuestas que se obtienen como resultado de errores en el calculo, También suelen funcionar como distractores eficaces afirmacio- nes correctas pero que no responden a lo que se plantea en el enunciado del item, asf como frases técnicas que suenen bien. Para lo que no existe un consenso generalizado es para la respuesta a la pregunta de cudntas opciones de respuesta incluir en el item: 3, 4, 5 o mas.LOS INSTRUMENTOS DE MEDICION PSICOLOGICA. 1: CONSTRUCCION..._ 3.4.3. En el dominio no cognitive Ademis de las recomendaciones generales recogidas en el subaparta- do 3.4.1, cuando los {tems tienen por objeto evaluar actitudes, opiniones, valores, intereses 0 personalidad es conveniente: — Evitar expresiones coloquiales y procedentes del argot que pueden ser comprendidas tinicamente por un segmento especifico de la poblacién y en un determinado periodo de tiempo. — Variar la direccién de la pregunta, incluyendo en la prueba el mis- mo niimero de items con el enunciado formulado de manera posi- tiva o favorable (por ejemplo, «Los paises occidentales desarrolla- dos tienen que poner los medios necesarios para garantizar una integracién adecuada de los inmigrantes en el pais receptor») y negativa o desfavorable (por ejemplo, «Los inmigrantes ilegales deben ser repatriados a su pais nada més pisar territorio espa- fol»). Es decir, en la prueba debe haber aproximadamente el mi mo numero de ftems que denoten una actitud 0 posicién favorable hacia aquello que se esté evaluando y una actitud contraria o des- favorable. Ahora bien, en estos tiltimos hay que poner especial cuidado en evitar las negaciones en el enunciado. Por ejemplo, en una prueba de satisfaccién laboral es mejor incluir el ttem Odio mi trabajo en lugar de No estoy muy satisfecho con mi trabajo. Para generar ideas para construir los ftems, el autor puede acudir a estudios empiricos realizados con anterioridad, a modelos teéricos en los que se inscriben las caracteristicas 0 constructos a evaluar y, por supues- to, a su propia experiencia personal. Otra fuente importante de ideas se puede obtener acudiendo a pruebas ya construidas y muy contrastadas como, por ejemplo, el cuestionario utilizado en la Encuesta de la Pobla- cién Activa ([Link] Hay dos cuestiones de interés a las que hay que prestar atencién al construir items en el Ambito no cognitivo, la primera relativa a las opcio- nes de respuesta entre las que pueden elegir los sujetos y la segunda a los sesgos, tendencias o estilos de respuesta que se pueden observar en algu- nos sujetos. Es importante poner etiquetas verbales si no a todas las categorfas sf por lo menos a las relativas a los dos extremos, ya que los sujetos res- ponden tanto a la posicion ordinal de las categorias como a las descrip- iones utilizadas. Normalmente es conveniente incluir una categorfa de respuesta que represente un punto medio (por ejemplo, ni de acuerdo ni en desacuerdo en una escala de actitud; regular en una escala de frecuen- cia, etc.) puesto que esa categoria es la que mejor puede describir los sen-122 ___ METODOS, DISENOS Y TECNICAS DE INVESTIGACION PSICOLOGICA timientos 0 la opinién de algunas personas. En ocasiones, cuando se pregunta sobre alguna cuestién con la que algunos sujetos pueden no estar muy familiarizados, conviene también incluir como alternativa de respuesta la opcién No tengo opinion. Un sesgo de respuesta es la tendencia sistematica de un sujeto a res ponder a los items de la prueba de una determinada manera, con inde- pendencia de cudil sea el contenido de los ftems. Los principales sesgos de respuesta son los siguientes: — La deseabilidad social: consiste en elegir sistemdticamente la opcién de respuesta que se considera mas deseable socialmente en lugar de la opcién que mejor refleja los sentimientos, valores, acti- tudes 0 personalidad del sujeto examinado. Suele ser relativamente frecuente cuando se pregunta acerca de actitudes racistas, conductas sexuales que se desvian de lo que habitualmente es considerado como la norma, conductas desea- bles, conductas desviadas, etc. — La aquiescencia: consiste en responder sistematicamente que se esta de acuerdo (0 en desacuerdo) con lo que se indica en el enun- ciado, al margen de lo que en él se afirma. — La respuesta extrema: consiste en responder sistematicamente eli- giendo las categorias de respuesta de los extremos, con indepen- dencia del contenido del ftem. Es muy importante que el constructor del test tenga en cuenta estos posibles sesgos de respuesta a la hora de construir los ftems que van a formar dicha prueba. Este ha de evitar incluir items con los que cualquier persona se mostraria de acuerdo (0 en desacuerdo) y debe hacer todo lo posible para facilitar que el sujeto dé la respuesta real, verdadera y no cualquier otra. Por ejemplo, si queremos saber la edad de un sujeto es més facil conocerla preguntando su fecha de nacimiento que su edad, 0 si queremos saber cuales son los ingresos anuales de una persona es mas probable que esta responda si se le proporcionan distintas categorias de respuesta (menos de 1,5 millones, entre 1,5 y 3 millones, entre 3 y 5 millones, més de 5 millones) que si se le pide directamente que indique sus ingresos anuales. 3.4.4. Rev ién de los items Antes de pasar a ensamblar los items construidos y dar el formato final a la versi6n —preliminar— de la prueba, es conveniente revisar los items que se acaban de confeccionar, Lo ideal es poder pasar el conjuntoLOS INSTRUMENTOS I de items redactados a un experto ajeno al constructor (0, en su defecto, a un compafiero cualificado) y pedirle que los revise atendiendo a su con- tenido, a la claridad en su redacci6n, al lenguaje utilizado y, en el caso de trabajar en el Ambito cognitivo, que compruebe la correccién de la r puesta correcta. En el caso de que no sea posible recurrir a nadie, se recomienda al menos que el constructor deje pasar un dia (o mas) y que éste vuelva a examinar todos los items revisando su contenido, claridad y lenguaje. Los items que pasen este primer control seran ordenados y organizados en la siguiente fase del proceso de construccién de la prueba -confeccién de la prueba- pero esta revision es solo una primera com- probacién en el proceso de control de calidad al que se va a someter ésta. Tal como se indicé con anterioridad (véase figura A en la pagina 91), el producto final de la fase de construccion es solo una version preliminar de la prueba, que sera cuidadosamente chequeada y examinada en la segunda fase del proceso —evaluacién de la prueba— antes de que ésta pueda ser utilizada con garantfa para obtener una medida precisa y vall da del sujeto (o grupo de sujetos) en la caracteristica o atributo que mide Ja prueba. 3.5. CONFECCION DE LA PRUEBA La regla de oro a seguir en esta fase de la construccién de un test es confeccionar la prueba de forma que resulte lo més facil posible seguir las instrucciones del test, leer los items y registrar las respuestas a dichos items (Fowler, 1995). En particular, los aspectos a los que hay que atender enesta fase del proceso son los siguientes: — Las instrucciones dadas a los sujetos para responder a los items del test. — El formato de presentacién de la prueba, la organizacién general de la informacién. — El formato de registro de las respuestas de los sujetos a los items. 3.5.1, Instrucciones de la administracion El objetivo de las instrucciones de administracién de la prueba es proporcionar un marco de referencia comin que nos permita asegurar- nos de que todos los sujetos comprenden perfectamente la mecanica del test: sirven para familiarizar a los sujetos con el material que constituye el test y para uniformar y estandarizar las condiciones de administracién de124 IOS Y TECNICAS DE INVESTIGACION PSICOL la prueba de forma que, una vez realizado el test, las puntuaciones de los distintos sujetos sean comparables y reflejen tinicamente diferencias en la caracteristica 0 atributo que mide el test y no a una mayor o menor comprensién o conocimiento de lo que el sujeto tiene que hacer a la hora de responder a los items de la prueba Las instrucciones del test deben indicar con un lenguaje claro y sencillo cémo ha de responder el sujeto a los {tems del test (rodeando con un circulo la opcién que considere correcta o la alternativa que piense que mejor describe lo que él siente, opina o considera, o r pondiendo en el espacio proporcionado a lo que se le pregunta en el item, etc.), dénde ha de responder (en el mismo cuadernillo 0 en una hoja de respuesta), de cuanto tiempo dispone para ello y, en el caso de pruebas cognitivas, si es conveniente responder a todos los items (aun sin estar seguro de cual es la opcién correcta de respuesta) 0 es mejor no responder al azar. En ocasiones, es util incluir ejemplos o ejercicios de practica con el fin de clarificar aun mas las instrucciones, resol- viendo el ejemplo y explicando por qué la opcién sefialada es la correc- ta. Adicionalmente, en las instrucciones se le puede indicar también al sujeto cual es el objetivo del test, cémo van a ser puntuadas sus res- puestas, se le puede sugerir cémo distribuir el tiempo de aplicacién de la prueba o estrategias en principio no relacionadas con el constructo 0 rasgo que mide el test pero que pueden contribuir positiva o negativa- mente a su actuacién en la prueba. Normalmente, si la prueba se envia por correo postal a los sujetos para que éstos la respondan y devuelvan, las instrucciones han de ser bastante detalladas y es conveniente pro- porcionar a los sujetos informacién acerca del estudio o investigacién para el cual se solicita su colaboracién, En el caso de una aplicacién presencial o directa, suele ser conveniente que el aplicador 0 encuesta- dor lea en voz alta las instrucciones de la prueba mientras los sujetos las van leyendo para sf mismos. Las instrucciones a seguir en una prueba de Geografia para 2.° curso de ESO podrian ser las siguientes Escribe tu nombre en la parte superior derecha de la hoja de respuesta No escribas nada en el cuadernillo, El objetivo de la prueba es determinar tu nivel de comprensién y conoci- mientos de Geografia. Hay 50 preguntas y dispondras de 50 minutos para realizar la prueba Para contestar marca en la hoja de respuesta la casilla que hay debajo de a letra correspondiente a la respuesta elegida.i LOS INSTRUM Tu puntuacién en la prueba sera el némero total de preguntas que res- pondas correctamente. Por tanto, se recomienda que en caso de duda res- pondas a la pregunta. No dejes ninguna pregunta sin responder. Si terminas antes de tiempo, por favor, permanece sentado hasta que todo el mundo haya terminado la prueba. 3.5.2. Formato de presentacién de la prueba La forma de organizar las preguntas en una prueba es muy impor- tante ya que un sujeto puede negarse a responder (0 responder de cual- quier manera) si los primeros items le resultan algo embarazosos, irri- tantes 0, sencillamente, dificiles de entender: la simple ordenacién de los items de un test puede Hevar a que un sujeto dé por terminada la prueba antes casi de empezar 0, si el formato de presentacién no es suficientemente claro, un sujeto puede saltarse inadvertidamente algu- na pregunta. Habitualmente, la prueba suele comenzar solicitando al sujeto los datos de identificacién que son relevantes para el control y seguimiento del estudio en cuestién (nombre y apellidos, datos de contacto, etc.) y seguidamente aparecen las instrucciones de administracién de la prueba A continuacion se incluyen los {tems del test y se suele dejar para el final las preguntas relativas a datos biograficos y demograficos (edad, género, nivel de estudios alcanzado, situacién laboral, nivel de ingresos, prefe- rencias religiosas, politicas, etc.). En el caso de encuestas telefénicas, es bastante habitual incluir al principio de la entrevista preguntas relativas al género, edad, formacién, ocupacién, rol e incluso composicién del hogar ya que éstas pueden ser variables determinantes para la composi- cién de la muestra, dejéndose para el final las variables relativas al nivel de ingresos, preferencias religiosas, ideolégicas, etc. Hay que prestar especial atencién a las preguntas que aparecen en pri- mer lugar, porque en buena parte de ellas depende que perdamos 0 que ganemos a un sujeto, que éste adopte una actitud positiva o negativa al realizar el test. En pruebas cognitivas se recomienda empezar con tems faciles, que refuerzan positivamente al sujeto, y en pruebas no cognitivas con preguntas de calentamiento, que lo hagan sentirse cémodo. Asimis- mo, es muy importante que todos los items de la prueba —especialmente, estos primeros items— respondan al objetivo de la investigacién, tal y como ha sido éste enunciado en las instrucciones, para generar un ambiente de confianza que le transmita al sujeto que esta colaborando en. un estudio serio y riguroso.126 METODOS, DISENOS Y TECNICAS DE INVESTIGACION PSICOLOGICA Es importante que el orden en el que aparecen las preguntas sea logi- co, con el fin de asegurar la cooperacién de los sujetos y para eliminar cualquier tipo de confusién o desconcierto. Hay que evitar poner pre- guntas consecutivas que salten de un tema a otro o que cambien sucesi- vamente de formato: conviene agrupar por bloques las preguntas que traten del mismo tema, que compartan el mismo enunciado 0 material de referencia, que tengan las mismas instrucciones o que utilicen el mismo. formato, Es més, cuando la prueba es larga o requiere del sujeto que fac lite una gran cantidad de informacién, lo que suele hacerse es separar fisi- camente los grupos de preguntas y poner un encabezado 0 un enunciado introductorio para cada bloque (por ejemplo, «A continuacion hay una serie de preguntas acerca de cémo son percibidas algunas de las cuestio- nes objeto de la investigacién»). En pruebas largas es también aconsejable utilizar distintos formatos para los items con el fin de romper un poco la monotonja 0 rutina de la prueba. Siempre que sea posible cada grupo de preguntas aparecerd en una tinica pagina o en paginas enfrentadas y, dentro de cada grupo, el orden de presentacién de las preguntas debe seguir una secuencia l6gica o, en el caso de pruebas cognitivas, se debe ir de Jo facil a lo dificil. En la tabla 3.6 se dan algunas recomendaciones generales a tener en cuenta a la hora de determinar el formato de pre- sentaci6n de la prueba. Taal 3.6 Recomendaciones para el formato de presentacién de la prueba * Las preguntas generales deben aparecer antes que las preguntas especificas. * Hay que numerar los items. No se debe partir un item: el item debe aparecer en una Gnica pagina. Si un item incluye un grafico 0 diagrama, éste debe aparecer antes que el enun- ciado del item. Cada tipo de item debe inclvir sus propias instrucciones de administracién. En definitiva, se trata de lograr para la prueba una disposicién clara, atractiva, con sentido, facil de seguir y que haga parecer la prueba lo ma corta posible, eso si, sin merma en la claridad de la presentacion de los items (en ocasiones, es mejor optar por un formato tipo folleto para evitar cuadernillos con muchas hojas grapadas o utilizar preguntas de matriz multiple como la de la figura 3.4).LOS INSTRUMENTOS DE MEDICION PSICOLOGICA. I: CONSTRUCCION.. 127 Hasta qué nivel de estudios llegaron tus padres? gHasta qué nivel esperas llegar 162 Rodea con un circulo UNA letra en cada columna, g) No sé Madre Padre T a) No han ido a la escuela A A A b) Sin terminar los estudios primarios B B B ¢) Estudios primarios c c c | d) Bachillerato, Formacién Profesional o | | equivalente terminado D D D e) Carrera universitaria de tres afios E E E f) Carrera universitaria de cinco afios F F F G G G Ficura 3.4. Ejemplo de una pregunta de matriz miltiple. 3.5.3. Formato de registro de las respuestas Existen dos posibilidades para registrar las respuestas a los items del test: — Los sujetos responden directamente en el mismo cuadernillo en el que estan las preguntas. — Los sujetos responden en hojas de respuesta que son entregadas por el aplicador junto con el cuadernillo que contiene las pregun- tas. La ventaja de esta segunda opcidén es que permite reutilizar poste- riormente el cuadernillo. El inconveniente es que la tarea del sujeto en este caso es algo mas complicada que en el primero (hay que buscar el ntimero de la pregunta en la hoja de respuesta, recordar la opcién elegida y sefialarla en la hoja); de hecho, cuando se trabaja con nifios 0 con per- sonas que no estén muy familiarizadas con pruebas de eleccién miiltiple 0 con escalas de valoracion es mejor registrar las respuestas directamen- te en el cuadernillo del test. Al lector no se le habré escapado la complejidad y laboriosidad impli- cita en la construccién de una nueva prueba o test. Por ello, antes de embarcarse en la construccién de uno nuevo conviene examinar si existe en el mercado alguna prueba o test —comercializada o no— que evaliie aquello que deseamos medir y que cumpla razonablemente con los requi- sitos métricos exigibles para poder ser utilizado con garantia.128 METODOS, DISENOS Y TECNICAS DE INVESTIGACION PSICOLOGICA Una forma de rentabilizar el ingente trabajo que supone la construc- cién de un test es construir en lugar de una tinica prueba un conjunto o banco de items que nos va a permitir poder construir distintas pruebas en distintos momentos con distintos objetivos y para evaluar a distintos sujetos, Obviamente, el ntimero de items de un banco es considerable- mente superior al ntimero de ftems de una prueba, por lo que el trabajo implicado en la construccién también es mayor. Sin embargo, segtin sean las necesidades de medicién y evaluacién puede convenir plantearse la construccién de un banco de {tems a partir del cual se podran construir distintas pruebas en lugar de limitarse a construir un tinico test, 3.6. APLICACION DE LA PRUEBA Las posibilidades de aplicacién o administracién de una prueba son muy variadas: 1. Colectiva o individual, segtin que ésta pueda o no ser aplicada simultanemente a un grupo de sujetos. Razones de economfa y de organizacién aconsejan la aplica- cin colectiva de pruebas, si bien esto no es posible con conocidos tests de inteligencia (como las escalas de inteligencia de Weschler para adultos y para nifios WAIS y WISC) 0 de personalidad (como el Rorschach). 2. Como una prueba de lapiz y papel 0 como un test informati- zado. En el primer caso la prueba se presenta en formato impreso y el sujeto debe registrar por escrito sus respuestas, respondiendo a lo que se le pregunta o sefialando la opcién que considere oportu- na en el cuadernillo 0 en una hoja de respuesta En el segundo caso los items del test se presentan de uno en uno a través de la pantalla del ordenador y el sujeto indica la opcién que considera oportuna utilizando el teclado o el ratén El avance espectacular que ha experimentado en las tiltimas décadas la tecnologia del ordenador ha propiciado la administra- cin informatizada de los tests, tanto en el ambito cognitive como no cognitivo. Las ventajas que ésta presenta respecto a la forma tradicional de aplicacién son las siguientes (Olea y Hontangas, 1999): requiere menos tiempo de administracién, reduce la posi. bilidad de copiar y también determinados costes y favorece la similitud de las condiciones de aplicacién para todos los sujetos,129 ademéas de todas las ventajas relacionadas con las facilidades que el ordenador introduce a la hora de registrar, puntuar e interpretar las respuestas de los sujetos a los items del test. 3. Personal, por teléfono 0 por correo postal. En el primer caso el aplicador esta fisicamente presente en el momento de la administracién de la prueba, es el que se encarga de repartir y de recoger después los tests, de proporcionar las ins- trucciones para la realizacién de la prueba y de asegurar que las condiciones de administracién son adecuadas (minimo ruido ambiental, 6ptimas condiciones de iluminacion, ausencia de inte- rrupciones, tamatio adecuado de la sala donde se realiza la prueba, etc.). La practica totalidad de las pruebas cognitivas requieren de la presencia de un aplicador. En el segundo caso el aplicador o encuestador interacttia con el sujeto a través del hilo telefénico, esto es, el aplicador le v. haciendo al sujeto las preguntas tal cual aparecen en la prueba y va registrando las respuestas que da el sujeto, con mucha fre- cuencia introduciéndolas directamente en el ordenador. Este tipo de aplicacién es muy comtin en pruebas no cognitivas, en especial en la investigacién de mercado y de opinién publica. En el tercer caso se trata de una prueba autoadministrada, desaparece la figura del aplicador: se envia la prueba por correo, el sujeto la responde y la devuelve también por correo (postal, elec- trénico o por fax). Normalmente, se envia junto con la prueba una carta explicativa acerca del estudio y un sobre conveniente- mente timbrado y con la direccion de envio impresa. Este tipo de aplicacién es bastante comun en pruebas no cognitivas, cuando lo que se demanda es informacion que requiere la consulta de docu- mentacién (por ejemplo, acerca de la cuenta de resultados o de la plantilla de una empresa), pero presenta algunos problemas, entre ellos, la elevada tasa de no respuesta (mas del 50% de los sujetos no devuelven la prueba cumplimentada), la dificultad para con- trolar que la persona que realmente responde a la prueba es la per- sona a la que se le envid y que lo hace, ademés, en el orden en el i que aparecen las preguntas en la prueba. Como ya se indicé en el apartado 3.3, las decisiones que se toman en relacién a la forma en la que va a ser aplicada la prueba tienen un impac- to directo en el formato de las preguntas y en la propia disposicién o for- mato de la prueba. Por ejemplo, si la aplicacién va a ser telef6nica, no es conveniente que los items tengan més de cinco opciones de respuesta, las primeras preguntas deben conseguir que se establezca una buena relacion entre entrevistador y entrevistado para evitar que este Ultimo cuelgue el |