EVALUACIÓN DE LA EDUCACIÓN

Hacia reactivos constructivos para evaluaciones a gran

escala de alto impacto

María Fabiana Ferreyra Martínez

Norma Larrazolo Reyna
Eduardo Backhoff Escudero
Citlalli Sánchez Álvarez

1
Instituto de Investigación y Desarrollo Educativo, Universidad Autónoma de Baja California

fabianaferre@[Link], nlarrazolo@[Link], backhoff@[Link], citlalli@[Link]

1
1. INTRODUCCIÓN

El uso de exámenes a gran escala ha crecido notablemente, a nivel mundial, durante

las últimas décadas. En particular, países, estados y distritos escolares utilizan estas
evaluaciones para tomar decisiones de alto impacto con consecuencias importantes
para los estudiantes. Dados estos efectos, es necesario garantizar la calidad de las
pruebas que se utilicen (Heubert y Hauser, 1999).

En el caso de México, existen pruebas a gran escala dirigidas a estudiantes de nivel

básico, como lo son: los exámenes de Calidad y Logro Educativos (Excale) y la
Evaluación Nacional de Logro Académico en Centros Escolares (Enlace). También, se
reportan exámenes de ingreso al Nivel Superior, entre ellos el Examen Nacional de
Ingreso a la Educación Superior (EXANI-II) desarrollado por el Centro Nacional de
Evaluación para la Educación Superior, la Prueba de Aptitud Académica (PAA)
elaborada por el College Board (Keller, Deneen y Magallán, 1991), y el Examen de
Habilidades y Conocimientos Básicos (EXHCOBA).

Este último examen, el EXHCOBA, se desarrolló en 1992 en el Instituto de

Investigación y Desarrollo Educativo (IIDE) de la Universidad Autónoma de Baja
California (UABC) y se estableció como requisito de ingreso en dicha universidad. Un
año después, se lanzó su versión computarizada y actualmente se aplica en más de
15 instituciones educativas de México. El examen cuenta con los criterios de
confiabilidad y validez propios de un instrumento de evaluación educativa (Backhoff,
2003).

El examen está integrado por ítems de opción múltiple. Este es el prototipo de

reactivos de la mayoría de las pruebas de gran escala. Si bien esta estructura tiene
muchas ventajas, existen también limitaciones; una de las principales es que quien
responde, en cada reactivo se limita a elegir una de cuatro o cinco posibilidades. Por lo
tanto, como resultado de una búsqueda de una evaluación que se ajuste al mundo
real, el IIDE está en el proceso de desarrollo de tipos de reactivos innovadores que
apunten a la construcción de la respuesta, desde un punto de vista cognitivo, de
acuerdo con Ausubel, Novak y Hanesian (1983). Estos ítems innovadores se pueden
clasificar en tres categorías: de respuesta construida, de arrastre y de iluminación
(Parshall, Spray, Kalohn y Davey, 2002).

En consecuencia, el objetivo principal de este documento es: presentar el nuevo tipo

de ítems: los reactivos constructivos. Para ello, previamente se cita el marco de
referencia del EXHCOBA, luego se muestra el proceso de diseño, construcción,
aplicación y validación de esta prueba, y dentro del proceso se detalla la etapa
correspondiente a la elaboración de especificaciones y reactivos, orientados
específicamente al Examen de Habilidades y Conocimientos Básicos para el Nivel de
Educación Media Superior (EXHCOBA/MS).

2. MARCO DE REFERENCIA DEL EXHCOBA

Las bases documentales que soportan este examen son el conocimiento acumulado
durante más de 100 años de la psicometría, así como en la experiencia de
aproximadamente 45 años de la aplicación de evaluaciones internacionales de ingreso
a la enseñanza media superior y superior, especialmente en España y Estados Unidos
de América (Backhoff, Sánchez, Peón, Monroy y Tamachi, 2006).

2
El marco teórico del EXHCOBA está definido básicamente por los principios de la
Teoría Clásica de la Medida y de la Teoría de Respuestas al ítem (Backhoff, 2003).
Respecto de la primera se adoptan los principios para la construcción y validación de
pruebas; sobre la segunda, los principios básicos para la calibración y el escalamiento
de pruebas educativas.

Este examen tiene como objetivo principal: seleccionar a los mejores estudiantes a
ingresar al nivel medio superior y superior. Está diseñado para evaluar conocimientos
y habilidades básicos (con énfasis en la interpretación y la aplicación), indispensables
para que el estudiante pueda cursar con éxito el nivel de estudios al cual ingresa. Es
decir, se trata de una prueba normativa, con el propósito de ordenar y seleccionar
individuos.

Los contenidos que se evalúan se extraen de los planes y programas de estudios

aprobados por la Secretaría de Educación Pública. Actualmente, el EXHCOBA está en
proceso de generación de versiones basadas, exclusivamente, en los nuevos planes y
programas de estudio de la educación primaria y secundaria diseñados por la
Secretaría de Educación Pública (SEP, 2006, 2009a), en los programas de estudio de
la Dirección General del Bachillerato (SEP, 2009b), en los programas de la reforma
integral de la Educación Media Superior (SEP, 2009c) y en la información que aportan
los libros de texto oficiales.

3. PROCESO DE DISEÑO, CONSTRUCCIÓN, APLICACIÓN Y VALIDACIÓN

DEL EXHCOBA

Es importante destacar que para poder diseñar instrumentos de selección de calidad

se requiere el trabajo colegiado de expertos, fundamentado en un método sólido y
consistente con los propósitos que se persiguen. Por tal motivo, para la elaboración
del EXHCOBA se ha seleccionado el modelo de desarrollo de exámenes propuesto
por Nitko (1994), con modificaciones realizadas por Contreras (2000), por el INEE
(2005a) y por el Comité Técnico del EXHCOBA, para adaptarlo a las necesidades del
examen.

Cabe mencionar que en el desarrollo de la evaluación intervienen diversos

especialistas, los cuales se agrupan en distintos órganos colegiados, entre ellos:
Comité Técnico, Consejo Consultivo, Comités Académicos, Comités Elaboradores de
Especificaciones y Reactivos, y Comités de Validación y Sesgo (en el caso de los tres
últimos, existen uno por área: Matemáticas, Lenguaje, Ciencias Naturales y Ciencias
Sociales). Cada uno de estos órganos cumple con una función específica y
complementaria en el proceso de construcción, su trabajo se programa en forma
escalonada y sus productos se convierten en insumos de las siguientes etapas, por lo
que en el proceso de generación de este tipo de pruebas se considera, en parte, el de
su validación (Contreras, 2000; Contreras, Backhoff y Larrazolo, 2003).

La Tabla I presenta las seis fases y 11 etapas del desarrollo del EXHCOBA, en
general (tanto para ingreso a la educación superior como a la media superior). En
cada etapa se utilizan diversos procedimientos, entre los cuales destacan: 1) la
documentación de procesos similares de construcción de pruebas normativas de gran
escala, realizados por instituciones de reconocida calidad internacional; 2) la
capacitación dirigida a los comités de especialistas y docentes que participan en el
proceso; 3) la elaboración de materiales para el trabajo de los comités; y 4) el trabajo
colegiado, donde se toman las decisiones de mayor importancia. En el apartado 4, se
explica la etapa 5 de la fase III: Especificaciones de Reactivos y Reactivos (región

3
 sombreada en la tabla). No se describen, en detalle, cada una de las fases y etapas
del modelo, ya que escapan al tamaño y propósito de este trabajo (para mayor
información, consultar: INEE, 2005a).

Tabla I. Proceso de diseño, construcción, aplicación y validación de los EXHCOBA (Backhoff,

Sánchez, Peón, Monroy y Tamachi, 2006, con modificaciones del Comité Técnico del
EXHCOBA)
Fases Etapas Participantes Procedimientos Productos
1. Marco de Referencia de
• Consejo Consultivo
1. Diseño del los EXHCOBA
• Comité Técnico
plan general 2. Marco Teórico de
• Asesores en medición
de evaluación Validación de los
y validación
EXHCOBA
• Especialistas en
diseño de 3. Marco de Referencia de
2. Diseño y
cuestionarios de los Cuestionarios de
elaboración de
contexto Contexto
cuestionarios 1. Documentación
• Especialistas en 4. Cuestionarios de
de contexto 2. Seminarios
evaluación del contexto del alumno
I. Planeación aprendizaje 3. Trabajo colegiado
general 4. Reuniones
periódicas de 5. Plataforma informática
trabajo y sistema
computarizado de
exámenes (SICODEX)
3. Diseño y
• Especialistas en bases 6. Sistema para calificar
desarrollo del
de datos y sistemas exámenes y generar
sistema
de información reportes estadísticos
informático
(ALCATRAZ)
7. Sistema de información
general de usuarios del
EXHCOBA (SIGUE)

1. Documentación
8. Manual Técnico para el
II. Estructuración 2. Capacitación
4. Diseño de los • Comité Técnico Diseño de los EXHCOBA
de los 3. Preparación de
EXHCOBA • Comités Académicos 9. Tabla de Contenidos
EXHCOBA materiales
de cada examen
4. Trabajo colegiado

10. Manual técnico para la

Elaboración de
Especificaciones y de
Reactivos
11. Especificaciones de
1. Documentación
• Comité Técnico reactivos de cada
5. Especificaciones 2. Capacitación
• Comités Elaboradores examen
de reactivos y 3. Preparación de
de Especificaciones y 12. Revisiones de
reactivos materiales
Reactivos especificaciones de
4. Trabajo colegiado
reactivos
13. Reactivos por
especificación
14. Revisión de reactivos
III. Construcción construidos
de los
EXHCOBA • Comité Técnico
1. Documentación 15. Manual Técnico para la
• Comités Académicos
6. Validación de 2. Capacitación Validación de Reactivos
• Comité de validación
reactivos 3. Trabajo individual y 16. Reporte de validación
(uno por área, por
colegiado por cada reactivo
evaluación)
17. Manual Técnico para el
Piloteo de Reactivos
• Comité Técnico 1. Muestreo para el 18. Versión electrónica de
7. Piloteo de
• Investigador asociado piloteo los EXHCOBA
reactivos y de
especialista en 2. Primera versión 19. Versión electrónica de
cuestionarios
tecnología y procesos electrónica de los cuestionarios de
de contexto
de evaluación reactivos contexto
20. Base de datos con
resultados del pilotaje

4
 21. Manual Técnico para la
Administración de los
exámenes y de los
Cuestionarios de
Contexto
8. Administración • Comité Técnico 22. Base de datos con
1. Documentación
IV. Administración de los • Investigador asociado resultados de las
2. Administración de
de los exámenes y de especialista en evaluaciones
los exámenes y de
EXHCOBA las bases de tecnología y procesos 23. Base de datos con los
las bases de datos
datos de evaluación resultados de los
Cuestionarios de
Contexto
24. informes electrónicos
para las instituciones
usuarias
25. Manual Técnico sobre
1. Seminarios Análisis de Reactivos
9. Análisis iniciales • Comité Técnico 2. Análisis estadísticos 26. Informe Técnico sobre
de resultados • Asesores en medición de resultados el Comportamiento
V. Análisis e 3. Documentación Psicométrico de los
interpretación reactivos
de resultados 27. Manual Técnico para el
de los 10. Elaboración de informe de resultados
EXHCOBA informes • Comité Técnico 1. Documentación 28. Informe Técnico sobre
técnicos para • Asesores en medición 2. Capacitación los resultados de la
el Consejo y validación 3. Trabajo colegiado evaluación asociados
Consultivo con las variables de
contexto
29. Marco de Referencia de
11. Estudios de • Comité Técnico
VI. Validación de 1. Documentación los Estudios de Validez
validez de los • Asesores en
los EXHCOBA 2. Investigación 30. Reportes Técnicos de
EXHCOBA validación
Estudios de Validez

Particularmente, el EXHCOBA/MS está organizado en dos secciones. La primera

sección se conforma por las habilidades adquiridas durante la educación primaria que
tienen relación con el uso del lenguaje y las matemáticas, tales como la comprensión
de textos y la solución de problemas aritméticos. La segunda sección corresponde al
nivel de secundaria y se divide en cuatro áreas: lenguaje, matemáticas, ciencias
naturales y ciencias sociales. A su vez, el área de ciencias naturales se subdivide en
física, química, biología y método científico. Igualmente, ciencias sociales se divide en
historia de México, historia universal, geografía y civismo. La nueva distribución de
reactivos, acordada por el Comité Técnico, es de 40 para la primera sección y 80 para
la segunda (ver Figura 1).

Figura 1. Estructura conceptual de los EXHCOBA (Backhoff, 2003, con modificaciones del
Comité Técnico del EXHCOBA).

5
4. ESPECIFICACIONES DE REACTIVOS Y REACTIVOS (FASE III, ETAPA 5)

Una vez concluida la fase II, donde se determinan los 120 contenidos a ser evaluados
por el EXHCOBA/MS; inicia la tercera fase, en la que se conforma el examen en sí,
con las especificaciones y los reactivos correspondientes.

Las especificaciones de reactivos son el conjunto de características que definen a un

tipo o clase de ítem; de manera coloquial se puede afirmar que son retratos hablados
de las competencias escolares que se desean evaluar en los estudiantes, llámense
conocimientos, habilidades, destrezas, etcétera.

Las especificaciones tienen el propósito principal de brindar los elementos necesarios

para la posterior construcción de reactivos; en ellas se plasman, entre otras cosas, los
contenidos curriculares y procesos intelectuales que deben ser evaluados en cada
ítem, así como los detalles técnicos requeridos para generar reactivos con alto grado
de efectividad. La idea es contar con un marco normativo compacto, claro y
significativo que permita producir ítems válidos y saber cuándo no lo son, así como
tener estándares con los cuales contrastar el valor de los ítems elaborados.

Para esta labor, se convocan cuatro Comités Elaboradores de Especificaciones y

Reactivos (CEER), uno por área. A continuación, se presenta el procedimiento que
debe seguir cada CEER, para concretar su trabajo.

4.1. PROCEDIMIENTO PARA LA ELABORACIÓN DE ESPECIFICACIONES DE

REACTIVOS

Para elaborar una especificación de reactivos se sigue un procedimiento general que

consta de cinco pasos que se presentan a continuación.

Figura 2. Pasos para la elaboración de Especificaciones de Reactivos del EXHCOBA

4.2. COMPONENTES DE UNA ESPECIFICACIÓN CON SUS REACTIVOS

En general, las especificaciones de reactivos con los reactivos correspondientes

deben proporcionar la siguiente información: 1) Datos del elaborador y de los revisores

6
 2) Descripción general del contenido a evaluar (datos de identificación del contenido a
evaluar y características de dicho contenido) y 3) Conformación de un conjunto de
reactivos (donde se incluya la bibliografía consultada).

4.2.1. DATOS DEL ELABORADOR Y DE LOS REVISORES

En este espacio se plasman los datos de quién o quiénes redactan la especificación y

de los revisores; en ambos casos se trata de los nombres y apellidos completos con la
fecha de elaboración, revisión o corrección (según corresponda). Una especificación
puede tener hasta cinco revisiones (por parte del Concejo Técnico o de diversos
especialistas de los temas evaluados) con sus respectivas correcciones, antes de ser
aceptada por el Comité Técnico (ver Tabla 2).

Tabla 2. Plantilla de Datos de la Elaboración de una Especificación de Reactivos

Redactor(es) de la especificación Fecha de redacción inicial
NN DD/MM/AAAA
Revisores XXX, XXX, XXX
Revisiones y correcciones Fecha de entrega
Revisión 1 (XXX) DD/MM/AAAA
Corrección 1 (NN) DD/MM/AAAA
Revisión 2 (XXX) DD/MM/AAAA
Corrección 2 (NN) DD/MM/AAAA
Revisión 3 (XXX) DD/MM/AAAA (ACEPTADO)

4.2.2. DESCRIPCIÓN DEL CONTENIDO A EVALUAR

En este apartado se recuperan los datos elaborados por el Comité Académico acerca
de cada contenido y se incorpora el análisis realizado de la lectura de estos datos.

[Link]. DATOS DE IDENTIFICACIÓN DEL CONTENIDO A EVALUAR

En esta sección se transcribe el enunciado del contenido y su ubicación en el

programa de estudios correspondiente. Incluye: a) el nombre del área; b) el nivel
educativo; c) el eje temático (para Matemáticas), ámbito (para Lenguaje) o asignatura
(para Ciencias Naturales y Ciencias Sociales); d) el tema; e) el subtema y f) el
contenido a evaluar con su nombre y definición. A continuación se muestran dos
ejemplos (ver Tabla 3 y Tabla 4).
1
Tabla 3. Datos de un contenido a evaluar correspondiente al área de lenguaje
Área Nivel educativo
Lenguaje Educación Secundaria
Clave Ámbito Tema Subtema
LEN09 Estudio Entrevista Reportes de entrevistas
Nombre Acento diacrítico y enfático.
Contenido Uso e identificación de las palabras que requieren acento
Definición
diacrítico o enfático.

1
Los contenidos, especificaciones y reactivos que se incluyen en el presente documento sólo están a
afectos de ilustración, no necesariamente se incluyen en el EXHCOBA/MS.

7
 Tabla 4. Datos de un contenido a evaluar correspondiente al área de matemáticas
Área Nivel educativo
Matemáticas Educación Primaria
Clave Eje temático Tema Subtema
Las operaciones
HC02 Los números Divisibilidad
básicas
Nombre Múltiplos y divisores.
Contenido
Definición Cálculo de múltiplos de números dados.

[Link]. CARACTERÍSTICAS DEL CONTENIDO A EVALUAR

Según el diseño que le es propio al EXHCOBA y a la naturaleza del contenido a

evaluar, este rubro incluye los siguientes aspectos:

• Importancia del contenido. Son los argumentos que justifican la selección del
contenido a evaluar para los propósitos que persigue el examen. El Comité
Académico aporta esta justificación cuando realiza la selección de contenidos;
cada CEER la transcribe y, si lo considera necesario, la amplía.

• Delimitación del contenido. Aquí se indica, con precisión, con cuánta profundidad
se evaluará el contenido (es decir, se precisa, se acota). Por ejemplo, en aritmética
se deben aclarar las características de los números involucrados (naturales,
enteros, decimales, fraccionarios, etc.), el rango de dichos números, si son
fracciones se especifica qué clase, las operaciones a realizar y sus características,
cuántos números se utilizarán, si se incluirán problemas y de qué tipo, el estilo de
la redacción, las fórmulas necesarias, las magnitudes y las unidades, etc. Todo
esto con el fin de fijar la extensión del contenido y, por lo tanto, el grado de
dificultad del reactivo.

• Conocimientos y habilidades involucrados en la respuesta. Son los elementos

requeridos para contestar el reactivo correctamente. En otras palabras, las
competencias escolares que el estudiante debe poseer para ser capaz de
responder correctamente el reactivo.

A continuación se muestran dos ejemplos (ver Tabla 5 y Tabla 6).

8
 Tabla 5. Características de un contenido del área de lenguaje (continuación de Tabla 3)
Importancia (justificación) del contenido a evaluar
Es un contenido básico de la ortografía.
Es un recurso esencial para la comprensión de los textos.
Habilita al alumno para utilizar las reglas básicas de ortografía y para hacer correcciones,
especialmente en palabras de uso frecuente.
Delimitación del contenido
• Se utilizarán las siguientes palabras de uso frecuente: qué, que, cuál, cual, cuándo, cuando,
cómo, como, dónde, donde, cuánto, cuanto, él, el, té, te, dé, de, más, mas, sí, si, mí, mi, sé, se,
tú, tu.
• Se analizará su uso dentro del contexto de un diálogo breve de dos personas (máximo de 40
palabras).
• Se evaluarán las palabras de a pares (es decir, la misma grafía con y sin tilde; por ejemplo:
mas, más, como, cómo, tu, tú, etc.).
• Se evaluarán no más de seis palabras por reactivo.
• En el reactivo deberá aparecer, al menos, un monosílabo y una palabra con valor interrogativo
o exclamativo.
Conocimientos y habilidades involucrados en la respuesta
Los sustentantes deberán:
• conocer las reglas de acentuación de monosílabos de uso frecuente.
• conocer las reglas de acentuación de palabras con valor interrogativo o exclamativo.
• tener habilidades de lectura comprensiva para identificar los significados diferentes de las
palabras a acentuar, según el contexto.
Los niveles taxonómicos que se esperan del sustentante son de comprensión y aplicación.

Tabla 6. Características de un contenido del área de matemáticas (continuación de Tabla 4)

Importancia (justificación) del contenido a evaluar
Es un contenido elemental que se adquiere en la educación primaria.
Involucra las operaciones básicas: suma, resta, multiplicación y división.
Agiliza la capacidad de realizar operaciones mentales, sin el auxilio de la calculadora.
Es un contenido útil para otras actividades matemáticas, por ejemplo: resolver problemas
aritméticos, obtener denominador común, factorizar expresiones algebraicas, obtener raíces y,
en general, para hacer otros cálculos.
Delimitación del contenido
• Se solicitará un múltiplo de tres números naturales distintos de cero.
• Los divisores a utilizar son: 2, 3, 4, 5, 6, 8 ó 9.
• Debido a que la cantidad de múltiplos comunes a tres números dados es infinita, se debe
aclarar que el múltiplo solicitado debe estar en un rango de 25 unidades.
• El múltiplo solicitado debe ser menor o igual que 155. Ejemplo: Calcular un número que sea
divisible, simultáneamente por 2, 3 y 5 y que esté comprendido entre 75 y 100.
Conocimientos y habilidades involucrados en la respuesta
Los sustentantes deberán:
• conocer las cuatro operaciones básicas (suma, resta, multiplicación y división).
• saber leer e interpretar enunciados sencillos.
• conocer los criterios básicos de divisibilidad (2, 3, 4, 5, 6, 8, 9, 10).
• comprender los conceptos de: múltiplo común y divisor común.
• tener habilidad para buscar y reconocer múltiplos de números dados.
Los niveles taxonómicos que se esperan del sustentante son de comprensión y aplicación.

9
4.2.3. CONFORMACIÓN DE REACTIVOS

Una vez obtenida la información que contextualice el contenido a evaluar, el

especificador debe decidir qué tipo de reactivo se ajusta mejor para evaluar dicho
contenido. De acuerdo con esa elección, procede a elaborar un conjunto de ítems.

La meta principal es asegurar que cada ítem represente el contenido tal cual se
especificó. Por ello, es necesario garantizar que, a partir de las especificaciones, cada
miembro de los CEER desarrolle el conjunto de ítems que le corresponda, de
conformidad con las normas técnicas estipuladas para asegurar su validez.

Para redactar los ítems correctamente, se deben consultar diferentes materiales: el

documento Normas Técnicas para la Construcción de Reactivos (ver INEE, 2005b,
2005c), los libros de textos oficiales o aceptados por la SEP y demás textos que se
expliciten en la especificación.

El elaborador debe respetar un formato que funciona como un “molde” donde se

evidencian las características físicas, de contenido e intelectuales de una determinada
clase de reactivos. El formato para la elaboración de los reactivos contiene los
siguientes elementos:

• Estrategia de evaluación. Aquí se plantea de qué forma va a evaluarse el

contenido; es decir, el tipo de actividad a realizar por el alumno.

• Base del reactivo. Es la directriz del reactivo, en forma de pregunta o instrucción y

no, de enunciado incompleto; contiene tres elementos: 1) un enunciado donde se
presente el ejercicio (podría omitirse si el ítem fuera muy directo y sencillo), 2) la
indicación de lo que se debe responder y 3) cómo contestarlo. La base del reactivo
debe ser clara y lo más breve posible.

• Ilustración. Se presenta un ejemplo como ilustración del reactivo. De este modo,

se pueden precisar las características visuales del ítem (si se incluyen mapas,
textos, cuadros, esquemas, etc.).

• Respuesta correcta. Se presenta la respuesta correcta de la ilustración.

• Datos para el programador. Aquí debe volcarse toda la información necesaria

para que el programador pueda armar el “esqueleto” del reactivo y pueda calificar
la respuesta dada por el sustentante. Se divide en dos secciones:
1) Para la construcción del reactivo: donde se incluyen los datos que deben
incorporarse en el reactivo, cómo seleccionarlos y cómo presentarlos. Según
sea el caso, debe incluirse el tipo y rango de valor de las variables involucradas
en el reactivo, las particularidades de las figuras, las fórmulas necesarias para
la resolución del ítem, las características de los mapas que se utilizarán, de las
tablas, de las gráficas, de los esquemas, etc.
2) Para la respuesta: donde se informa acerca del formato de la respuesta, se
aclara cuál es la respuesta correcta para cada caso y los criterios que se deben
observar para otorgar un punto.

10
Debe considerarse que el programador no tiene por qué ser experto en los contenidos
a evaluar; por lo tanto, la información debe ser lo más precisa posible, cuidar que esté
completa y clara, con el fin de obtener reactivos válidos y confiables.

4.3. REACTIVOS CONSTRUCTIVOS

Generalmente, los ítems de opción múltiple presentan como máximo cinco

posibilidades donde solamente una es la respuesta correcta. De este modo, se
restringe al evaluado a elegir entre lo poco disponible y, se inhiben otras posibilidades
o, incluso, que él mismo escriba su respuesta.

Respecto al tipo de reactivos que conforman el nuevo EXHCOBA/MS, el Comité

Técnico del examen indicó la necesidad de generar ítems que reflejen la diversidad de
opciones que presenta la vida diaria o que le den la posibilidad al sustentante de crear
su respuesta; por lo tanto decidió gestar un nuevo tipo de reactivos que se denominan
reactivos constructivos, y desligarse del formato de cuatro opciones.

El nombre de reactivo constructivo refiere a dos razones: 1) técnica, ya que al tratarse

de una evaluación computarizada, se explota la posibilidad de que un sistema
construya cada reactivo, dada una serie de pautas y restricciones, 2) cognitiva,
sustentada en la posición psicológica y educativa, acerca del aprendizaje, conocida
como Constructivismo. Según esta postura, el aprendizaje se explica como un proceso
activo en el que el aprendiz construye el conocimiento, a través de la interacción de
sus disposiciones internas con el ambiente. Según Woolfolk (1999), esta doctrina
destaca la actividad del individuo en la comprensión y asignación de sentido a la
información.

“El estudiante aprende más, se cualifica más, crece más, en la medida en la cual
participa en la construcción de su conocimiento. Y la evaluación es una forma de
construir el conocimiento” (Torres-Zambrano, 2007, p.224). Por lo tanto, un examen
debería poner en juego esta actividad constructiva de quien lo resuelve.

También es cierto que en exámenes a gran escala es difícil obtener un número muy
alto de variabilidad de respuestas debido a la dificultad que ocasiona en la calificación
de los evaluados. Es mucho más fácil tener una plantilla de respuesta correcta única
por ítem y compararla con las respuestas de los sustentantes.

Otra característica de este tipo de exámenes es que al abarcar una cantidad muy
vasta de contenidos, se necesita un gran número de reactivos que los evalúen y, por lo
tanto, el tiempo destinado a cada respuesta no puede ser mucho. En el caso del
EXHCOBA, se estima de 1 a 2 minutos por contestación.

De ahí, surge un compromiso entre exámenes con contestaciones muy creativas

versus la precisión y velocidad de respuesta-corrección. Como solución a este
conflicto surgen reactivos con nuevas características que se presentan a continuación:

En cada ítem, la cantidad de opciones de respuesta es superior a 10, en muchos

casos es mayor que 100.

En algunos ítems existe más de una respuesta correcta y cualquiera que el
sustentante proponga se tomará como acertada.

En el caso de pedir un número como solución, el sustentante deberá escribirlo y no
seleccionarlo de un conjunto limitado de cuatro números.

11

En el caso de tener que optar por elementos para construir la respuesta, puede
haber algunos factibles de ser seleccionados más de una vez y otros que queden
sin elegir.

Existen reactivos en los cuales, para otorgar un punto no se solicita la respuesta
exacta; sino que esté dentro de un margen de error aceptable.

De acuerdo con la presentación visual y la actividad que debe realizar el examinado,

este nuevo tipo de ítems se puede clasificar, en tres categorías:

 Reactivos de respuesta construida (respuesta breve)

 Reactivos de arrastre

 Reactivos de iluminación o sombreado

A continuación, se analizan estas categorías y se presentan ejemplos para ilustrar y

clarificar ideas.

4.3.1. REACTIVOS DE RESPUESTA CONSTRUIDA (RESPUESTA BREVE)

Los reactivos de respuesta construida, como el término lo indica, son aquellos donde
el sustentante debe completar con la respuesta apropiada, un espacio que se le deja
en blanco. Esa respuesta debe ser muy breve, por ejemplo: un número o una palabra.
Este tipo de reactivos se ajustan muy bien a las matemáticas y las ciencias naturales,
general. A continuación, se presenta un ejemplo (ver Tabla 7).

Tabla 7. Reactivo de Respuesta Construida del área de matemáticas (continuación de Tabla 6)

Estrategia de evaluación
Se plantea un ejercicio donde se deben calcular múltiplos comunes de números dados en un
rango también establecido.
Base del reactivo
Calcula un número que sea múltiplo de A (simultáneamente), y que esté comprendido entre
B.
Escribe la respuesta en el espacio en blanco.
Ilustración (a modo de ejemplo)
Calcula un número que sea múltiplo 2, 3 y 5 (simultáneamente), y que esté comprendido
entre 75 y 100.
Escribe la respuesta en el espacio en blanco.

Respuesta:
Respuesta (del ejemplo)
Calcula un número que sea múltiplo 2, 3 y 5 (simultáneamente), y que esté comprendido
entre 75 y 100.
Escribe la respuesta en el espacio en blanco.

Respuesta: 90

12
Datos para el programador
 Para construir el reactivo:
o De manera aleatoria el sistema debe elegir, de la tabla, un par de elementos A y B de la
misma fila.
o Reemplazar A y B en la base del reactivo.
o Presentar el reactivo.
 Para responder el reactivo:
o Se debe dejar un espacio de captura del resultado.
o El espacio debe permitir escribir solamente números naturales de uno, dos o tres dígitos
(es decir, desde 0 a 999).
o La respuesta dada por el sustentante se debe comparar con la R de la fila donde se
construyó el reactivo.
o Se otorgará un punto cuando la respuesta del sustentante sea igual a la R
correspondiente.
Tabla para la elaboración del reactivo
A B R
2, 3 y 5 75 y 100 90
2, 3 y 5 100 y 125 120
2, 3 y 5 130 y 155 150
2, 3 y 9 60 y 85 72
2, 3 y 9 80 y 105 90
2, 3 y 9 95 y 120 108
2, 4 y 9 60 y 85 72
2, 4 y 9 95 y 120 108
2, 4 y 9 130 y 155 144
2, 5 y 6 100 y 125 120
2, 5 y 6 130 y 155 150
6, 8 y 9 60 y 85 72
6, 8 y 9 130 y 150 144

4.3.2. REACTIVOS DE ARRASTRE

En este tipo de reactivos el sustentante deberá arrastrar una palabra, frase, oración,
logo, etc. (según sea el caso) a una categoría definida, a un texto dado, a un mapa,
entre otras posibilidades; de modo que el ajuste o acople quede correcto, según la
instrucción dada.

Los reactivos de arrastre permiten generar asociaciones, agrupar en categorías o

posicionar elementos en una recta graduada. En Biología, por ejemplo, relacionar
alimentos con el tipo de nutrientes que poseen en mayor cantidad (proteínas, lípidos,
carbohidratos, vitaminas o minerales). En historia se pueden ubicar eventos o
personajes dentro de una línea del tiempo. En matemáticas, ubicar fracciones en una
recta numérica. En lenguaje, asignar características a personajes de un cuento, entre
otras variantes.

En el caso de los reactivos de arrastre es muy importante precisar el formato donde se

incluye la ilustración, párrafo o cualquier otra figura; en otras palabras, describir
detalladamente, las características de dichos elementos. Si se considera necesario, en
la base del reactivo se incorporan instrucciones adicionales que aporten claridad al
reactivo. A continuación, se presenta un ejemplo (ver Tabla 8).

13
 Tabla 8. Reactivo de Arrastre del área de lenguaje (continuación de Tabla 5)
Estrategia de evaluación
Se presenta un diálogo con 6 espacios en blanco y una lista de 6 palabras (3 con tilde
diacrítica y 3 sin tilde). Se pide al sustentante que elija palabras de la lista y las inserte en los
espacios, de modo que el texto tenga sentido.
Base del reactivo
A continuación, se presentan: una lista de palabras y un diálogo con espacios en blanco. Elige
las palabras que completan el diálogo, de manera que el texto tenga sentido.
Arrastra las palabras que elijas al espacio correspondiente. Considera que una palabra puede
ir a más de un lugar y pueden quedar otras sin utilizar.
Ilustración (a modo de ejemplo)
como cómo que qué si sí

Ana – va María, ¿tú irás a la fiesta?

Berta – , voy todos mis amigos.
Ana – ¡ creerlo! ¡Está muy chica para vaya a esa fiesta!
Berta – ¿ dijo su mamá? ¿Le dio permiso?

Respuesta (del ejemplo)

como cómo que qué si sí

Ana – Si va María, ¿tú irás a la fiesta?

Berta – Sí, voy como todos mis amigos.
Ana – ¡ Cómo creerlo! ¡Está muy chica para que vaya a esa fiesta!
Berta – ¿Qué dijo su mamá? ¿Le dio permiso?

Datos para el programador

 Para construir el reactivo:
o De manera aleatoria, el sistema debe elegir uno de los 10 diálogos propuestos.
o Para el texto elegido, tomar las seis palabras y presentarlas en línea (por orden
alfabético, primero sin tilde y luego con tilde).
o A continuación, presentar el texto con los seis espacios en blanco.
 Para responder el reactivo:
o El sustentante, mediante un clic, podrá colocar el ratón sobre una de las seis palabras y
arrastrarla a alguno de los espacios vacíos; al soltar el ratón, la palabra quedará fija en
ese lugar.
o El sistema debe permitir al sustentante seleccionar más de una vez la misma palabra y
posicionarla en espacios diferentes.
o El sistema debe permitir corregir, al llevar otra palabra al lugar donde ya hay una.
o Si el sustentante deja espacios vacíos, se contará como posición (o palabra) incorrecta.
o Para cotejar la respuesta del sustentante, revisar en la columna de “Respuesta” del
diálogo correspondiente, si se ajusta a alguna de las opciones dadas.
o Se le otorgará un punto cuando acierte, al menos, 5 de 6 palabras.

14
 Tabla para la elaboración del reactivo
Lista de
Diálogo Respuesta
palabras
Ana – va María, ¿tú irás a la Opción 1
fiesta?
como
Ana – Si va María, ¿tú irás a la
Berta – , voy todos cómo fiesta?
mis amigos. que Berta – Sí, voy como todos mis
Ana – ¡ creerlo! ¡Está muy amigos.
chica para vaya a esa
qué
Ana – ¡ Cómo creerlo! ¡Está muy
fiesta! si
chica para que vaya a esa fiesta!
Berta – ¿ dijo su mamá? sí
¿Le dio permiso? Berta – ¿Qué dijo su mamá? ¿Le
dio permiso?
Opción 2
Ana – Como va María, ¿tú irás a la
fiesta?
Berta – Sí, voy como todos mis
amigos.
Ana – ¡ Cómo creerlo! ¡Está muy
chica para que vaya a esa fiesta!
Berta – ¿Qué dijo su mamá? ¿Le dio
permiso?
Diálogo 2 Lista 2 Respuesta 2
Diálogo 3 Lista 3 Respuesta 3
Diálogo 4 Lista 4 Respuesta 4
Diálogo 5 Lista 5 Respuesta 5
Diálogo 6 Lista 6 Respuesta 6
Diálogo 7 Lista 7 Respuesta 7
Diálogo 8 Lista 8 Respuesta 8
Diálogo 9 Lista 9 Respuesta 9
Diálogo 10 Lista 10 Respuesta 10

4.3.3. REACTIVOS DE ILUMINACIÓN O SOMBREADO

En este tipo de reactivos, se le presentan al examinado: zonas, palabras, puntos,

regiones de un texto, mapa o figura; que se sombrean o iluminan al pasar el ratón por
los mismos.

Los reactivos de iluminación son muy dúctiles para señalar y sombrear secciones o
regiones. En geografía son adecuados para marcar ciudades, estados, países,
accidentes geográficos, entre otros. En lenguaje son útiles para iluminar palabras
dentro de un texto (para indicar que requieren corrección ortográfica, para solicitar su
definición o para señalar ideas principales). En matemáticas pueden emplearse para
resolver problemas con figuras geométricas.

En el caso de los reactivos de sombreado, es esencial describir con precisión las

características de la ilustración, párrafo, mapa o cualquier otro tipo de figura que se
incluya. Si se considera necesario, incorporar una instrucción adicional que indique al

15
 sustentante la lectura de ese apoyo (además de la base del reactivo). A continuación,
se presenta un ejemplo (ver Tabla 9)
Tabla 9. Reactivo de Iluminación o Sombreado del área de matemáticas
Contenido: Gráfica de fracción.
Representación gráfica de fracciones propias.
Estrategia de evaluación:
Se presenta una fracción propia y se pide colorear su equivalente en una cuadrícula.
Base del reactivo:
A continuación se presentan: una fracción, y una figura dividida en partes iguales. Sombrea
en la figura las partes que indica la fracción.
Haz clic en cada parte que desees sombrear (si lo necesitas, puedes desmarcar cada parte
con otro clic).
Ilustración

Respuesta (de la Ilustración)

Datos para el programador:

 Para construir el reactivo:
o De manera aleatoria, el sistema debe elegir uno de las 5 figuras propuestas.
o Para la figura elegida, seleccionar una fracción de la misma fila.
o A continuación, presentar la fracción con la figura.
 Para responder el reactivo:
o El sustentante, mediante un clic, podrá pintar (o sombrear) cada porción de la figura
que se le presente.
o El sistema debe permitir al sustentante corregir; es decir, borrar alguna porción
sombreada, mediante un segundo clic en la misma.
o Las partes pintadas podrán estar en cualquier lugar de la figura.
o Para cotejar la respuesta del sustentante, revisar en la columna “R”, si el número de
porciones pintadas coincide con la de la respuesta.
o Se otorgará un punto cuando el número de partes pintadas, en cualquier posición,
coincida con “R”.

16
 Tabla para la elaboración del reactivo
R
Figura Fracción
(número de porciones a pintar)

1 2 3 4
, , ,
5 5 5 5
2 4 6 8
Observación: cada una de las , , ,
10 10 10 10
partes debe ser un cuadrado.
Todos los cuadrados deben tener 3 6 9 12
, , ,
el mismo tamaño. Debe haber un 15 15 15 15
total de 25 cuadrados colocados
en la posición como indica la
figura.
Figura 2
Fracciones 2 Respuesta 2
Observación:
Figura 3
Fracciones 3 Respuesta 3
Observación:
Figura 4
Fracciones 4 Respuesta 4
Observación:
Figura 5
Fracciones 5 Respuesta 5
Observación:

5. CONCLUSIONES

En este trabajo se ha mostrado, de manera muy sucinta, la metodología que se utiliza

para el desarrollo del EXHCOBA/MS. De esta metodología se deben destacar dos
aspectos: a) el trabajo colegiado, para cada Comité se convocan entre 4 y 6
especialistas por área (además, comités diferentes implican participantes diferentes), y
b) la documentación que se genera a lo largo de todo el proceso. Estas características
son esenciales para aportar evidencias de validez.

De los periodos que conforman el modelo, se ha precisado acerca de la quinta etapa

(correspondiente a la tercera fase); en ella se han presentado: un procedimiento para
la elaboración de especificaciones de reactivos con su formato correspondiente, y un
nuevo tipo de ítems, constructivos, que buscan generar en los evaluados respuestas
más pensadas y por lo tanto, menos azarosas. La administración del examen opera
por computadora en una plataforma programada especialmente (SICODEX) que se
maneja por Internet. En el presente, El SICODEX está en proceso de grandes
modificaciones a fin de ajustarse a las necesidades que surgen con los reactivos
constructivos.

17
Este nuevo proyecto de examen genera, por sus características, estudios que deberán
enfocarse desde otras perspectivas. Por un lado, la estructura permite una variedad
mayor que 12,000 versiones de pruebas, por lo cual deberá determinarse qué criterios
se seguirán para el posterior análisis de datos. Por otro lado, dada la naturaleza de
los reactivos, su complejidad y la novedad de sus características, tendrán que
analizarse diferentes métodos estadísticos para la validación del examen.

El EXHCOBA ha mostrado su solidez a lo largo de sus casi 30 años de vida. Es un

examen con gran número de estudios que han aportado datos de su validez y
confiabilidad (Larrazolo, Tirado y Rosas, en prensa). Sin embargo, lo más destacable
es que se trata de una evaluación “viva” que está en continuo proceso de calibración,
búsqueda de actualización y perfeccionamiento. Una muestra de ello, es el desarrollo
de este nuevo tipo de reactivos constructivos.

REFERENCIAS BIBLIOGRÁFICAS

Ausubel, D., Novak, J. y Hanesian H. Psicología educativa: Un punto de vista

cognoscitivo (2da. ed.). Trillas. México, 1983.

Backhoff, E. Desarrollo, validación e implementación de un sistema para la selección

de estudiantes a la Universidad Autónoma de Baja California. Tesis presentada para la
obtención del grado de Doctor en Educación del Doctorado Interinstitucional de
Educación en la Universidad Autónoma de Aguascalientes. Universidad Autónoma de
Aguascalientes. México, 2003.

Backhoff, E., Sánchez, A., Peón, M., Monroy, L., y Tamachi, M.L. Diseño y desarrollo
de los exámenes de la calidad y el logro educativo. Revista Mexicana de Investigación
Educativa. COMIE. México, 2006, Vol. 11, N° 029, pp. 617-638.

Contreras, L. A. Desarrollo y Pilotaje de un Examen de Español para la Educación

Primaria de Baja California. Tesis de maestría. Universidad Autónoma de Baja
California. México, 2000.

Contreras, L. A., Backhoff, E. y Larrazolo, N. Curso taller para la elaboración de

exámenes criteriales: manual para el comité diseñador del examen. Documento
mimeografiado. Instituto de Investigación y Desarrollo Educativo-UABC. México, 2003.

Heubert, J. P. y Hauser, R. M. (ed.). High stakes: testing for tracking, promotion and
graduation. National Academy of Sciences – National Research Council. Washington,
1999.

Instituto Nacional de Evaluación Educativa. Manual Técnico para el Diseño de

Exámenes de la Calidad y el Logro Educativos. Autor. México, 2005a.

Instituto Nacional para la Evaluación de la Educación. Manual Técnico para la

Construcción de Reactivos. México, 2005b.

Instituto Nacional para la Evaluación de la Educación. Manual Técnico para la

Elaboración de Especificaciones de Reactivos. México, 2005c.

18
Keller, G., Deneen, J. R. y Magallán, R. J. (ed.) Assessment and Access: Hispanics in
higher education. State University of New York. Albany, 1991.

Larrazolo, N., Tirado, F. y Rosas, M. Examen de Habilidades y Conocimientos

Básicos: fortalezas y prospectiva. Universidad Autónoma de Baja California (Ed.).
México, en prensa.

Nitko, A. A Model for Developing Curriculum-Driven Criterion-Referenced and Norm-

Referenced National Examinations for Certification and Selection of Students.
Ponencia presentada en la Conferencia Internacional sobre Evaluación y Medición
Educativas, de la Asociación para el Estudio de la Evaluación Educativa en Sudáfrica
(ASSESA). 1994.

Parshall, C. G., Spray, J. A., Kalohn, J. C. y Davey, T. Practical considerations in

computer-based testing. Springer-Verlag. New York, 2002.

Secretaría de Educación Pública. Plan de Estudios 2009. Educación Básica: Primaria.

Autor. México, 2009a. Disponible en:
[Link]

Secretaría de Educación Pública. Plan de Estudios 2006. Educación Básica:

Secundaria. México, 2006. Disponible en: [Link]

Secretaría de Educación Pública. Programas de Estudio de la Dirección General del

Bachillerato. Autor. México, 2009b. Disponible en: [Link]

Secretaría de Educación Pública. Programas de la Coordinación Sectorial de

Desarrollo Académico para los Bachilleratos Tecnológicos. Autor. México, 2009c.
Disponible en: [Link]

Torres-Zambrano, G. Guía Didáctica: Evaluación Educativa. Universidad Católica de

Loja. Quito, 2007, pp. 186-224. Disponible en:
[Link]

Woolfolk, A. Psicología educativa (7ma. ed.). Pearson. México, 1999.

19