Planificación de la intervención
metodológica cuantitativa
[5.1] ¿Cómo estudiar este tema?
[5.2] La encuesta
[5.3] Las escalas de medición
[5.4] Los test
[5.5] Confección de ítems
[5.6] La Teoría Clásica de los Test (TCT) y la Teoría de
Respuesta al Ítem (TRI)
[5.7] Las pruebas estandarizadas
5
TEMA
Metodología de la Investigación
Esquema
TEMA 5 – Esquema
2
Metodología de la Investigación
Ideas clave
5.1. ¿Cómo estudiar este tema?
En él revisaremos las características de diferentes técnicas cuantitativas de recogida de
datos como:
La encuesta.
Los test.
Las pruebas estandarizadas.
Así como las principales escalas de medición, confección de ítems, la Teoría Clásica de
los Test (TCT) y la Teoría de Respuesta al Ítem (TRI).
5.2. La encuesta
La encuesta es una técnica de recogida de datos cuantitativa, con el objetivo
de realizar mediciones cuantitativas sobre una muestra representativa de la población.
Permite explorar actitudes, valores y opiniones de la población. El cuestionario es el
instrumento de recogida de datos de la encuesta.
Las encuestas se pueden clasificar en:
TEMA 5 – Ideas clave
3
Metodología de la Investigación
Algunas características de la encuesta son:
Las ventajas de las encuestas son:
Los pasos en la elaboración de un cuestionario son:
El tamaño adecuado de la muestra se define en relación a:
El tamaño de la población de origen
El porcentaje estimado de población en la que se encuentra la variable estudiada
El nivel de fiabilidad deseado
El nivel de seguridad o margen de error
TEMA 5 – Ideas clave
4
Metodología de la Investigación
Las técnicas de muestreo se clasifican según:
Existen diferentes tipos de pregunta que se pueden incluir en un cuestionario:
5.3. Las escalas de medición
Las diferentes escalas de medición establecidas son:
TEMA 5 – Ideas clave
5
Metodología de la Investigación
Las características principales de estas escalas son:
Escala • Valorativa
• Forma categórica
Thurstone • Ítems cubren continuo de actitud
Escalograma • Valorativa
de Guttman • Respuestas dicotómicas
Escala de • Varias cuestiones con iguales
opciones de respuesta
Likert • Matriz de intensidad
El diferencial
• Dos opciones posibles
semántico de
• Dos adjetivos opuestos
Osgood
5.4. Los test
El test o prueba es un instrumento para recoger información sobre las habilidades y/o
capacidades de los individuos. Miden capacidades o rendimiento mientras que las
pruebas objetivas miden conocimientos.
Los test permiten clasificar sujetos y grupos, analizar diferencias entre grupos y
entre individuos, verificar hipótesis y predecir comportamientos. Las pruebas objetivas
o prueba «ad hoc» son instrumentos para medir una variable de interés para las que no
tenemos test estandarizados o pruebas apropiadas.
La variable de interés puede ser:
Variable
Variable
medible
latente
directamente
TEMA 5 – Ideas clave
6
Metodología de la Investigación
Las etapas para la construcción de un test o prueba son:
Construcción del test
Adiminstración del test
(versión preliminar)
Evaluación del test
Construcción de la
versión definitiva del
test
Es clave tener en cuenta:
Objetivos del test
Objeto o constructo de medición
Construcción de ítems y elaboración de un banco de ítems
Población objeto del test
Utilidad de la medición
Prueba piloto
La población diana u objetivo es el grupo al que va dirigido el test. Para
diseñar la prueba es necesario determinar:
Contenido
Número y
Contexto
formato
de
de los
aplicación
ítems
Características
métricas esperadas
TEMA 5 – Ideas clave
7
Metodología de la Investigación
En los test relacionados con educación, sobre todo cognitivos, no se pueden conocer las
características del constructo a medir al completo, por este motivo se usa la tabla de
especificación del test.
Para la evaluación de procesos cognitivos se utiliza la taxonomía de Bloom (1956):
conocimiento, comprensión, aplicación, análisis, síntesis y evaluación.
5.5. Confección de ítems
Los ítems utilizados según el ámbito son:
Para variables no cognitivas como opiniones, actitudes y valores, normalmente se
utilizan ítems de repuesta abierta o ítems de repuesta cerrada. Existen
diversos tipos de ítems de respuesta cerrada como las escalas de categorías, escalas
sumativas o de Likert y los listados.
TEMA 5 – Ideas clave
8
Metodología de la Investigación
La longitud y extensión de la prueba dependerá de la tabla de especificación y la
fiabilidad que se desee. Algunas normas para la confección de ítems son:
Personas expertas y conocedoras de la población diana deben participar en la
construcción y validación de los ítems. Las pautas generales para la secuencia de
ítems son:
Presentación inicial (objetivos y presentación prueba)
Ítems iniciales generales y sencillos
Ítems específicos y substantivos
Agrupación temática y estructura lógica
Al final datos identificativos sujeto
La aplicación puede ser: individual o colectiva, escriba o prueba en web,
personal, por correo o teléfono.
TEMA 5 – Ideas clave
9
Metodología de la Investigación
5.6. La Teoría Clásica de los Test (TCT) y la Teoría de Respuesta
al Ítem (TRI)
En este apartado se detallan dos modelos de medida que influyen en la construcción de
ítems en instrumentos de medición como las pruebas objetivas, los test y los
cuestionarios.
La TCT y la TRI se centran en el cálculo del error en la medición de variables
que son de carácter psicológico y/o pedagógico. En ambas teorías se contempla un
parámetro individual asociado a cada individuo.
La Teoría Clásica de los Test (TCT)
En la TCT las características de las mediciones se definen en relación a un grupo
normativo. Los resultados son dependientes al grupo examinado. Los indicadores
utilizados para determinar la calidad de ítems son:
El grado de dificultad se clasifica en las siguientes categorías:
Muy Muy
Difíciles Normales Fáciles
difíciles fáciles
El grado de discriminación se clasifica en las siguientes categorías:
El ítem
El ítem El ítem El ítem
carece de
discrimina discrimina discrimina Ítem límite
utilidad para
muy bien bien poco
discriminar
TEMA 5 – Ideas clave
10
Metodología de la Investigación
La fiabilidad hace referencia a los instrumentos de medida libres de errores de
medida.
Hay que tener en cuenta el error típico de medida cuando nos referimos a la
precisión. Si pudiéramos repetir un test en un mismo individuo, el error típico sería la
diferencia entre la media y la desviación típica. La fiabilidad se mide a partir
de:
La fiabilidad de un test depende del número de ítems de test. Hay que tener en
cuenta aspectos de validez en:
Hay cuatro tipos de validez ampliamente aceptadas:
La dimensionalidad se centra en las dimensiones de la variable de interés. El
análisis factorial es la metodología más adecuada para estudiar la dimensionalidad.
TEMA 5 – Ideas clave
11
Metodología de la Investigación
La Teoría de Respuesta al Ítem (TRI)
El ítem como unidad básica de medida. En la TRI las mediciones métricas son
independientes al grupo estudiado.
Los principios de la TRI son:
Hay rasgos latentes o aptitudes que pueden explicar el resultado a un ítem
Existe una función característica del ítem o curva característica del ítem (CCI)
Estimaciones de actitud iguales entre diferentes ítems
Los modelos de TRI son:
Modelo de solo
parámetro o de
Rasch
Modelo de tres Modelo de dos
parámetros parámetros
Hay varios modelos de TRI, aunque el más común es el de un solo parámetro o de
Rasch. Para muestras pequeñas se utiliza del modelo de Rasch, mientras que
para muestras mayores a 300 se puede utilizar cualquier modelo de TRI.
TEMA 5 – Ideas clave
12
Metodología de la Investigación
5.8. Las pruebas estandarizadas
Las pruebas estandarizadas se basan en la evaluación del rendimiento con la
finalidad de realizar una medición objetiva.
En relación a las características del tipo de interpretación de puntuaciones, el tipo de
estándar de referencia, se diferencia entre la prueba de referencia normativa y
la prueba de referencia criterial.
En el modelo normativo se toma como referencia la ejecución de los individuos
que pertenecen a un grupo determinado, conocido como grupo normativo. En el
modelo normativo el estándar es la ejecución del grupo. El modelo normativo se basa
en:
Medición de Distribución
diferencias normal del
individuales rendimiento
Norma del
grupo como
Grupo
criterio /
normativo
punto de
Modelo corte
normativo
TEMA 5 – Ideas clave
13
Metodología de la Investigación
Las fases en el diseño de pruebas de referencia normativa son:
Establecimiento del marco referencial:
objeto medición, revisión teórica y de la
literatura, objetivos prueba
Identificación propiedades a medir:
objeto y regla de asignación numérica
Construcción de la prueba: selección
ítems, estandarización, criterios de puntuación,
etc.
Objetivización de la prueba: indicadores
de fiabilidad y validez
Obtención de puntuaciones: puntuación y
utilización
En la construcción normativa de tests, en base a la TCT, se consideran los siguientes
elementos en el análisis de los ítems:
Las pruebas de referencia normativa concebidas para medidas psicológicas
tienen limitaciones para la medida del rendimiento escolar.
Las pruebas de referencia criterial evalúan la ejecución individual de cada
individuo en relación a un criterio de rendimiento, sin contemplar comparaciones entre
individuos del grupo examinado.
En el modelo criterial, el estándar es predeterminado previamente. Se basa en
los siguientes supuestos para la evaluación educativa son:
Conceptualización de un criterio estándar, estándar de ejecución, objetivo
conductual o con un dominio o logro prefijado
Existencia de un Dominio Educativo definido
Interpretación de puntuaciones en relación a tareas
Especificación procesos ejecución
TEMA 5 – Ideas clave
14
Metodología de la Investigación
Valoración individual
Punto de corte establecido previamente
Existen dos tipos de pruebas de referencia criterial:
Para la definición y construcción de pruebas de referencia criterial es
necesario tener en cuenta los siguientes aspectos:
Especificación del
Dominio Educativo
Pruebas de referencia
Análisis de elementos
criterial
Determinación de
estándares
Fiabilidad:
consistencia
clasificaciones
Validez
El Dominio Educativo hace referencia al conjunto de los elementos,
objetivos, contenidos, actividades, tareas e ítems que forman el objetivo de la
educación.
En la definición del dominio, los objetivos e ítems deben ser especificados y
estructurados, a través de comités de juicio o por análisis empíricos.
TEMA 5 – Ideas clave
15
Metodología de la Investigación
Tres elementos afectan la validez de un ítem:
Para la determinación de estándares hay que diferenciar entre:
Para la determinación de estándares se opta por la opinión de jueces.
Para la determinación de puntos de corte se utilizan:
TEMA 5 – Ideas clave
16
Metodología de la Investigación
Lo + recomendado
Lecciones magistrales
Análisis y validación de un cuestionario
En esta lección magistral, en base al artículo de Sancho Álvarez y Grau Vidal (2013), se
analiza el proceso de diseño y validación de un cuestionario sobre el fracaso escolar del
alumnado de Educación Secundaria de un Centro de Formación de Personas Adultas.
El vídeo está disponible en el aula virtual.
TEMA 5 – Lo + recomendado
17
Metodología de la Investigación
No dejes de leer
Estilos atributivos
Matalinares, M.L. (2009). Adaptación psicométrica del cuestionario de estilos
atributivos». Revista de investigación en psicología, 1(12), 173-189.
En este artículo se presenta un estudio en el que se analizó la validez y confiabilidad del
Cuestionario de Estilos Atributivos (CEA) con un grupo de alumnos de Educación
Secundaria.
Accede al artículo a través del aula virtual o a través de la siguiente dirección web:
http://dialnet.unirioja.es/servlet/articulo?codigo=3175779
La equidad de género
Del Castillo, O. (2012). La equidad de género en Educación Física: influencia de los
medios de comunicación. Aula abierta, 1(40), 63-72.
En este artículo se presenta una investigación sobre la influencia de los medios de
comunicación en la actividad física y la igualdad de género, en al que se utilizó un
cuestionario ad hoc, validado mediante análisis estadístico, juicio de expertos y prueba
piloto.
Accede al artículo a través del aula virtual o a través de la siguiente dirección web:
http://dialnet.unirioja.es/servlet/articulo?codigo=3791867
Cuestionario de la evaluación de procesos de educación a distancia
García, E. & Cabrero- Almenara, J. (2011). Diseño y validación de un cuestionario
dirigido a describir la evaluación de procesos de educación a distancia. Edutec: Revista
electrónica de tecnología educativa, 35.
TEMA 5 – Lo + recomendado
18
Metodología de la Investigación
En este artículo se presenta el diseño y validación a través de juicio de expertos de un
cuestionario para la evaluación de procesos de educación a distancia.
Accede al artículo a través del aula virtual o a través de la siguiente dirección web:
http://www.edutec.es/revista/index.php/edutec-e/article/view/412
TEMA 5 – Lo + recomendado
19
Metodología de la Investigación
+ Información
A fondo
Recursos metodológicos para la preparación de proyectos de investigación
Yuni, J.A. & Urbano, C.A. (2009). Técnicas para investigar: recursos metodológicos
para la preparación de proyectos de investigación (vol. 2, pp. 63-79). Buenos Aires:
Editorial Brujas.
En este libro se explican los métodos para llevar a cabo proyectos de investigación en
educación.
Accede al artículo a través de la Biblioteca Virtual de UNIR.
Evaluación criterial
Journet, J.M. & González, J. (2009). Evaluación criterial: determinación de estándares
de interpretación (EE) para pruebas de rendimiento educativo. Revista ESE: Estudios
sobre educación, 16.
En este artículo se presentan los criterios para la determinación de estándares de
interpretación en pruebas estandarizadas de rendimiento.
Accede al artículo a través del aula virtual o a través de la siguiente dirección web:
http://dspace.unav.es/dspace/bitstream/10171/9172/1/16%20Estudios%20Ee.pdf
TEMA 5 – + Información
20
Metodología de la Investigación
Pruebas estandarizadas y evaluación del rendimiento: usos y
características métricas
Suárez, J.M. & Jornet, J.M. (1996). Pruebas estandarizadas y evaluación del
rendimiento: usos y características métricas. Revista de investigación educativa,
RIE,2(14), 141-163.
En este artículo se presentan diferentes tipos de pruebas estandarizadas como las
pruebas como indicadores de resultados, pruebas de certificación y admisión, pruebas
de dominio, pruebas de clase y pruebas individuales.
Accede al artículo a través del aula virtual o a través de la siguiente dirección web:
http://www.uv.es/gem/gemhistorico/publicaciones/Pruebas_estandarizadas_y_evalu
acion_del_rendimiento_Usos_y_caracteristicas_metricas.pdf
Webgrafía
Ministerio de Educación, Cultura y Deporte
Estadísticas de educación
http://www.mecd.gob.es/servicios-al-ciudadano-mecd/estadisticas/educacion.html
Estudios Internacionales de Evaluación
Sobre estudios internacionales de evaluación como PISA, TALIS, TIMSS, PIRLS, TEDS
e ICCS.
http://www.mecd.gob.es/inee/publicaciones/estudios-internacionales.html
Sistema Estatal de Indicadores
Sobre el Sistema Estatal de Indicadores que incluye la Edición 2014 y anteriores.
http://www.mecd.gob.es/inee/sistema-indicadores.html
TEMA 5 – + Información
21
Metodología de la Investigación
Bibliografía complementaria
Alaminos, A. & Castejón, J.L. (2006). Elaboración, análisis e interpretación de
encuestas, cuestionarios y escalas de opinión. Alcoy: Marfil.
Anguera, M.T. (1999). Observación en la escuela: Aplicaciones. Barcelona: Edicions de
la Universitat de Barcelona.
Blanco, C. (2011). Encuesta y estadística: métodos de investigación cuantitativa en
ciencias sociales y comunicación. Editorial Brujas. eISBN: 9781449260019.
Cea, M.A. (2001). Metodología cuantitativa: estrategias y técnicas de investigación
social. Madrid: Síntesis.
Croll, P. (2000). La observación sistemática en el aula. Madrid: La Muralla.
García, B. (2009). Manual de métodos de investigación para las ciencias sociales.
Madrid: Editorial Manual Moderno.
García, F. (2003). El cuestionario: recomendaciones metodológicas para el diseño de
cuestionarios. Madrid: Editorial Limusa.
González, D. (1993). Investigaciones basadas en la encuesta. En L. Buendía (coord.),
Análisis de la investigación educativa. Granada: Servicio de Publicaciones de la
Universidad de Granada.
Martínez, R. (1995). Psicometría: Teoría de los tests psicológicos y educativos.
Madrid: Síntesis.
Martínez, V.C. (2003). Diseño de encuestas de opinión. Madrid: Ra-Ma.
Morales, P. (2000). Medición de actitudes en Psicología y Educación. Madrid.
Universidad Comillas.
Morales, P., Urosa, B., & Blanco, A. (2003). Construcción de escalas de actitudes tipo
Likert. Una guía práctica. Madrid: Ediciones La Muralla, S.A.
Muñiz, J. (Coord.). (1996). Psicometría. Madrid: Universitas.
TEMA 5 – + Información
22
Metodología de la Investigación
Nisbet, J.D. & Entwistle, N.J. (1980). Métodos de investigación educativa. Barcelona:
Oikostau.
Pérez, A.I. & Soto, E. (2011). Luces y sombras de PISA. Sentido educativo de las
evaluaciones externas. Cultura y Educación: Revista de teoría, investigación y
práctica, 2(23), 171-182.
Ruiz, C. (2002). Instrumentos de investigación educativa: Procedimientos para su
diseño y validación. Barquisimento. CIDEG.
TEMA 5 – + Información
23
Metodología de la Investigación
Test
1. Relaciona los siguientes conceptos con su definición:
Dimensionalidad 1 A Respuestas incorrectas de un ítem.
Indicador sobre los instrumentos de medida libres
Dificultad 2 B
de errores de medida.
Relación entre puntuaciones en el ítem y
Distractores 3 C
puntuaciones en el test.
Discriminación 4 D Las dimensiones de la variable a medir.
Medición de lo que se pretende medir en el diseño
Fiabilidad 5 E
del test.
Número de personas que contestan correctamente a
Validez 6 F
un ítem .
2. En la construcción de test normalmente encontramos:
A. Mayor cantidad de ítems con dificultad media.
B. Mayor cantidad de ítems con dificultad alta.
C. Mayor cantidad de ítems con dificultad baja.
D. Igual cantidad de ítems de dificultad media y alta.
3. ¿Cuáles son las ventajas de las encuestas?
A. Validez del constructo, fiabilidad y utilidad.
B. Fiabilidad, rentabilidad y utilidad.
C. Validez ecológica, fiabilidad, rentabilidad y utilidad.
D. Validez del constructo, rentabilidad y utilidad.
4. ¿Qué escalas de medición existen?
A. Escala de Thurstone, de Guttman, de Likert y de White.
B. Escala de Thurstone, de Guttman, de Likert y diferencial semántico de Osgood.
C. Escala de Pearson, de t de Student y de Likert.
D. Escala de Guttman, de Likert y de Pearsons.
TEMA 5 – Test
24
Metodología de la Investigación
5. Los test permiten:
A. Descripción del contexto de estudio.
B. Seguridad y precisión de medida.
C. Comparación y predicción de conductas.
D. B y C son correctas.
6. Relaciona los siguientes conceptos con su definición:
Variable
1 A El test y el criterio se miden al mismo tiempo.
latente
Validez de 2 B Medición de lo que se quiere medir.
contenido
Validez de 3 C La diferencia entre la media y la desviación típica.
constructo
Validez
4 D Muestra adecuada y representativa de los contenidos.
concurrente
No medible directamente, de dominio cognitivo o
Error típico 5 E
actitudinal.
Validez Grado de eficacia que un test tiene para predecir o
6 F
predictiva pronosticar.
TEMA 5 – Test
25
Metodología de la Investigación
7. Relaciona los siguientes tipos de ítem con su definición:
Ítems de
1 A Ítems que requieren dar una respuesta extensa.
respuesta corta
Ítems de Se trata de enlazar los resultados de una columna
elección binaria 2 B
con los resultados de otra columna.
o alternativa
Ítems de
elección 3 C Ítems en los que se debe escribir respuesta deseada.
múltiple
Ítems de
Se elige la opción adecuada entre tres o más
respuesta 4 D
opciones.
extensa
Ítems de
Ítems en los que es necesario completar una frase
respuesta 5 E
incompleta.
abierta
Ítems de
6 F Solo hay dos posibles opciones de respuesta
emparejamiento
Ítems de
respuesta 7 G Contestar una opción entre varias
cerrada
8. En la Teoría de Respuesta al Ítem:
A. Las mediciones métricas son dependientes de un grupo normativo.
B. Las mediciones métricas son independientes de un grupo estudiado.
C. El ítem es la unidad básica de medida.
D. B y C son correctas.
9. Existen dos tipos de pruebas estandarizadas:
A. Pruebas de referencia criterial y de referencia del constructo.
B. Pruebas de referencia normativa y de referencia del constructo.
C. Pruebas de referencia normativa y de referencia criterial.
D. Pruebas de referencia contextual y de referencia criterial.
TEMA 5 – Test
26
Metodología de la Investigación
10. ¿Qué elementos hay que tener en cuenta para la construcción de pruebas de
referencia criterial?
A. Especificación del Dominio Educativo.
B. Homogeneidad y correlación ítem-prueba.
C. Determinación de estándares.
D. A y C son correctas.
TEMA 5 – Test
27
