LEER, COMPRENDER
Y PENSAR
NUEVAS ESTRATEGIAS Y TECNICAS DE EVALUACION
Director: Jesús Alonso Tapia
Investigadores
participantes:
Nnria Carnedo López
Elena González Alonso
Francisco Gutiérrez Martínez
María del Mar Mateos Sanz
ESTUDIO FINANClADO CONCARGO A LA CONVOCATORIA DE AYUDAS A LA
INVESTIGACION DEL C.I.D.E. 1988
Número 15
Colección: INVESTiGAClON
LEER, comprender y pensar : nuevas estrategias y técnicas de evaluación / director, Jesús Alonsa Tapia ; investigadores
participantes, Nuna Carnedo López ... [e1 al.]. - Ma drid : Ccntro de Publicaciones del Ministerio de Educación y
Ciencia : C.I.D.E., 1992.
1. Wura 2. Comprensión 3. Cognición 4. Proaso cognitivo 5. Evaluación 1. Alonso Tapia, Jesús 11. Caniego López,
Nuria
MlNlSTERIO DE EDUCACION Y CIENCIA
Secretaria dc Estado de Educación
~rsclon ürncrdl de Keniwacion Prddpi,pi;a
Centro dc In~~estigacion, D'wumeniacion ) Evdluarion
EDITA Secretaría G~ncral Tknica
Cnitra de Publicaciones
Tirada: I.2W ej.
Depósito Lcpai: M-31021-1992
NIPO: 116-92-126-1
I.S.B.N.: 84-369-2210-0
Imprime: GRAFlCAS JUMA
Plaza de Ribadeo, 7-1. 28029 MADRID
INDICE
LEER. COMPRENDER Y PENSAR:
NUEVAS ESTRATEGIAS Y
TECNICAS DE EVALUACION
INTRODUCCION . J . Alonso Tapia ................ 7 CAPITULO 1: Evaluación de
la supervisión y regu lación de la comprensión . La batería
SURCO . J . Alonso Tapia. N . Carriedo
López y M . Mateos Sanz .............. 11
Naturaleza de la comprensión lectora ........... 11 Lectura como proceso ascendente
................. 12 Lectura como proceso descendente ................ 13 Lectura como proceso
interactivo ................. 14
Evaluación de la comprensión lectora ........... 17
Evaluación de las variables que intervienen en el proceso de comprensión lectora
......................... 18 Evaluación del producto del proceso de comprensión . . 21
Evaluar la supervisión y regulación de la compren sión: planteamiento
............................ 23 ... Hipotesis ..................................... 24 Muestras
..................................... 24 Materiales .................................... 24 Resultados:
Análisis de las pruebas ................ 26 Resultados: Relaciones entre las pruebas ............
29 Conclusiones .................................. 29
Apéndices al capítulo 1: La batería SURCO ....... 31 Prueba de detección de fallos
de comprensión .... 32 Pruebaespecifica .............................. 32 Criterios de
corrección .......................... 38
Prueba de conocimiento y uso de estrategias para regular la comprensión
......................... 40 Pruebaespecifica .............................. 40 Baremos y
alternativas correctas ............... 57
CAPITULO 2: Evaluación de la capacidad de com prender y resumir lo
importante: La
batería IDEPA . J . Alonso Tapia. N . .
..
Carriedo López y E . González Alonso ... 59
Zntroducczon .................................. 59 ¿Qué es una idea principal?
...................... 61 ¿Qué implica resumir el texto? ................... 64 Implicaciones para
la evaluación .................. 67 Objetivos del trabajo ........................... 67
Primer estudio ................................ 69 Materiales .................................... 69
Muestra ..................................... 78 Características estudiadas: resultados ..............
78
Tendencia de respuesta ....................... 78 Indice de dificultad ........................... 79
Homogeneidad de los elementos ................. 82 Validez: estudio de las correlaciones entre
las pruebas 82 Primer estudio: conclusiones ................... 85
Segundo estudio 86
............................... Objetivos .................................... 86 Materiales 86
.................................... Muestra ..................................... 91 Resultados
................................... 91
Características de las pruebas .................. 91 Relaciones entre las variables estudiadas
.......... 94 Tercer estudio ................................. 95 Objetivos
.................................... 95 Materiales .................................... 95 Muestra
..................................... 96 Resultados ................................... 96
Características de las pruebas .................. 96 Relaciones entre las variables estudiadas
.......... 100
Conclusiones generales ........................ 102 Apéndices al capítulo 2
.......................... 105 Baremos ...................................... 106 Alternativas
correctas .......................... 108
Bateria ZDEPA ............................... 109 Prueba de vocabulario
.......................... 109 Prueba de ideas principales ...................... 116
Pruebaderesúmenes ........................... 154
CAPITULO 3: De la comprensíon al pensamiento crítico: la batería CRITEX . J.
Alon
so Tapia y F . Gutiérrez Martinez ....... 185
Introducción .................................. 185 Procesos de razonamiento: factores que afectan a la . . preczszón
..................................... 187
Errores al razonar deductivamente ................ Errores formales en el razonamiento deductivo ..... Errores
informales en el razonamiento deductivo ...
Errores al razonar inductivamente ................. Errores al caracterizar datos. muestras y
poblaciones Errores al estimar la covariación ................ Errores al hacer inferencias
sobre la causalidad ..... Errores al hacer inferencias de tipo predictivo ......
Evaluación del pensarmarmento critico: planteamiento 200 Técnicas de evaluación
.......................... 200 Muestra ..................................... 203 Resultados
................................... 203
Análisis de las pmebas ........................ 203 Relaciones entre las pruebas
.................... 206
Conclusiones .................................. 207 Apéndices ......................................
209 Alternativas correctas .......................... 210 Baremos
...................................... 211 Pruebas ...................................... 213 Pmeba
básica de razonamiento ................... 214
Prueba de razonamiento con silogismos categoriales (SILCAT)
.................................... 233 Prueba de razonamiento condicional ............... 243
Pmeba de pensamiento critico .................... 254
A MODO DE CONCLUSION .................... 288 REFERENCIAS
................................ 290
INTRODUCCION
Gran parte de la actividad escolar está organizada en torno a la comunicación escrita.
El alumno ha de leer, comprender, va
lorar criticamente la información contenida en los
textos y tratar de conservarla en su memoria. También ha de comunicarse
con frecuencia por escrito. La comprensión y la composición son acti
vidades en las que muchos alumnos encuentran dificultades rela
cionadas con los procesos de pensamiento implicados en la mismas. La
construcción de una representación del contenido del texto, la supervisión
de la comprensión, el conocimiento de estrategias pa ra remediar los fallos
de comprensión, para identificar las ideas principales, para resumir el
contenido de un texto, etc., o +uando el alumno es quien ha de
comunicarse- el conocer cómo planificar la organización de un texto para
comunicar una idea, etc., son actividades cuyo desarrollo implica pensar
de determinada forma para que su resultado sea efectivo.
Debido al hecho que acabamos de señalar, son numerosos los
programas que se han desarrollado con el propósito de inten tar mejorar la
comprensión lectora (véase Mateos, 1989 y Alonso Tapia, 1991, cap. 8
para una revisión de los mismos). No obstante, la evidencia sobre la
efectividad de muchos de ellos dista mucho de ser concluyente y ello,
entre otras cosas, por la forma en que se han evaluado las variables sobre
las que se suponía que se estaba interviniendo y que se considera que
influyen en la comprensión que el sujeto logra del texto a diferentes
niveles, así como por la forma en que se ha evaluado la propia
comprensión. Por este mo tivo, con el fin de abrir nuevas vías en relación
con la evaluación tanto del proceso mediante el que se llega a comprender
un texto como del producto final del mismo, hemos planteado el presente
trabajo, que hemos dividido en tres partes.
En la primera, se comienza analizando el problema de la na turaleza de la
comprensión lectora, dado que en buena medida los problemas de la
evaluación se hallan ligados a la concepción que se tiene de la misma.
Tras este análisis, se plantea el problema
de cómo evaluar el grado en que el sujeto supervisa y regula su propia comprensión
utilizando distintas estrategias para remediar las dificultades que encuentra. Muchos
programas de entrenamien to, incluyendo los desarrollados por nosotros mismos, afrontan
el problema de enseñar a los sujetos a pararse a pensar si van enten diendo lo que leen
utilizando diferentes criterios -léxico, sintác tico, semántic*, a identificar las características
de la dificultad que han encontrado y, en función de éstas, a aplicar las estrate gias más
adecuadas para remediarlo (Mateos, 1989; Alonso Tapia, 1991, cap. 5). Pero evaluar estos
cambios requiere técnicas adecua das, razón que ha impulsado el desarrollo de las que se
presentan en esta parte.
En el capitulo dos, tras revisar los problemas que plantea la comprensión de un texto que
se refleja en la capacidad para identificar las ideas principales y para resumir el mismo, se
descri ben tres estudios que han servido para desarrollar dos baterias de pruebas
relacionadas con la evaluación de la comprensión de la di
ferente importancia de la información de los textos. La primera de estas baterías se centra
en la evaluación de los conocimientos im plicados en la identificación de las ideas
principales y la segunda en la de los conocimientos implicados en resumir un texto cuando
se está estudiando. Son numerosos los programas desarrollados para mejorar la comprensión de la diferente
importancia de la informa
ción enseñando a los sujetos a identificar la estructura textual y a aplicar este
conocimiento tanto al resumen de textos como a iden
tificar la idea principal (Holley y Dansereau, 1984; Meyer, Young y Bartlett, 1989; León,
1989; Sánchez Miguel, 1990b; Carriedo y AlonswTapia, 1991a; Mateos y AlonswTapia,
1991). En muchos de estos estudios la evaluación de la comprensión se centra en el
análisis de los protocolos de recuerdo, siguiendo a Meyer (1975) o a Dijk y Kintsch
(1983). Sin embargo, como señala Johnston (1989), la ausencia de recuerdo no es
necesariamente un indicador de ausencia de comprensión, lo que nos ha llevado, junto a
otras razones, a desarrollar los procedimientos que describimos en esta parte.
Finalmente, un problema que muchos autores no consideran que deba tratarse como
problema de comprensión lectora sino co mo problema ligado a la interpretación de la
información del texto (Kintsch, 1989; Perfetti, 1989) o como mero problema de razona-
miento, es el de la valoración crítica de la información contenida en el mismo, información
que, en el contexto educativo se incluye con frecuencia con el propósito de que sirva para
que el alum no aprenda a pensar (Voss, Perkins y Segal, 1991). No obstante, nuestro
interés por la comprensión lectora está en función de un interés más general, el de ayudar
al alumno a aprender y a pensar. Por este motivo, estamos desarrollando un programa de
investi gación sobre la mejora del pensamiento crítico en relación con la información
contenida en los textos escolares. Pero también en es te caso nos encontramos con
problemas a la hora de la evaluación. Son muchos los errores que pueden cometerse al
razonar sobre un texto (Alonso Tapia y Gutiérrez Martinez, 1987; Alonso Tapia y
González Alonso, 1987; Evans, 1989; Alonso Tapia, 1991; Voss, Perkins y Segal, 1991), y
los procedimientos habituales no resul tan adecuados por las razones que veremos,
especialmente por que no se permiten detectar lo que el sujeto piensa cuando se enfrenta
con textos naturales. Por ello, en el capitulo tres describimos el desarrollo de una batería de
instrumentos para evaluar diferentes aspectos del razonamiento y, en particular, la
capacidad de valorar
criticamente la información contenida en textos naturales. En la realización de este trabajo
han colaborado numerosos colegios: Sagrado Corazón (Guadalajara); Juan XXIII, Antonio
Machado, Padre Manyanet (Alcobendas, Madrid); Buero Vallejo (San Sebastián de los
Reyes, Madrid); Agustiniano, San Agustín, Joaquín Turina, Ramón Pérez de Ayala, Ntra.
Sra de Guadalupe, Virgen de Lourdes y Ntra. Sra. de Monserrat (Madrid); Cemu, Pequeño
Príncipe (Leganés). A todos ellos agradecemos su cola boración y les dedicamos este
trabajo.
CAPITULO 1
EVALUACION DE LA SUPERVISION Y
REGULACION DE LA COMPRENSION. LA
BATERIA SURCO.
Jesús Alonso Tapia, Nuria Carriedo López
y Mar Mateos Sanz
NATURALEZA DE LA
COMPRENSION LECTORA
Durante mucho tiempo el supuesto de que la comprensión del lenguaje
escrito era equivalente al reconocimiento visual de las palabras más la
comprensión del lenguaje oral ha hecho que la comprensión lectora no fuese
objeto de entrenamiento especifico. De hecho, la práctica habitual -sugerida
incluso por los textos de lectura- ha sido hacer preguntas al alumno tras la
lectura orienta
das a evaluar si el sujeto comprendía el significado literal del texto, su
significado implícito -la información que no se encuentra direc tamente en el
texto- o si era capaz de valorar adecuadamente el mensaje transmitido por el
mismo; y, en caso de que las respuestas no fueran correctas, informarle de
cual era el significado correcto. Este tipo de practica, sin embargo, no indica
al alumno qué es lo que hay que hacer para llegar al tipo de interpretación
dada por el profesor o, en general, para comprender mejor. Lo mismo ocurre
si se pide al alumno que ponga titulo a un texto, lo que requiere que
identifique antes el tema y la idea principal, pero no se le enseña
explícitamente qué debe hacer para conseguir esto.
12 JESUS ALONSO TAPIA
Sin embargo, es posible mejorar la comprensión del conteni do de la
lectura en la medida en que conozcamos en qué consiste el proceso de
comprensión lectora y cuáles son los determinantes más frecuentes de las
diferencias en comprensión que encontramos entre nuestros alumnos.
En dos trabajos anteriores (Alonso y Mateos, 1985, 1987)
describíamos la existencia de tres modelos generales que tratan de
explicar los procesos implicados en la lectura: los modelos de
procesamiento ascendente, los modelos de procesamiento descen
dente y los modelos interactivos. De acuerdo con Adams (1982), estos
modelos coinciden en considerar la lectura como un proceso que tiene
lugar a varios niveles, ya que para llegar a compren der el significado que
el autor trata de transmitir, el lector debe analizarlo desde los niveles más
elementales -los patrones gráfi cos- hasta llegar a su estructura total.
Difieren, sin embargo, en la importancia que atribuyen a los distintos
tipos de analisis y en el modo en que consideran que se relacionan entre
si, punto que pasamos a considerar.
La lectura como proceso ascendente
El primer modo de acercamiento al análisis de la lectura en cuanto
proceso de comprensión se ha basado en dos supuestos:
1) La comprensión del lenguaje escrito es equivalente al reconocimiento
visual de las palabras más la comprensión del lenguaje oral.
2) El analisis de la información contenida en el texto es jerarquico y
unidireccional.
Esto es, primero se analizan los patrones gráficos que per miten la
identificación de las letras, identificación que supone la asignación de un
significado y la asociación de una determinada pronunciación; luego las
combinaciones de letras que dan lugar al reconocimiento de sílabas y
palabras y asi hasta que se extrae el significado completo. En ningún
momento se considera que intervengan procesos en sentido contrario.
Estos supuestos se han intentado comprobar examinado la velocidad de
ejecución de los procesos cognitivos más básicos y su relación con la
calidad de comprensión del texto, habiéndose encontrado evidencia de
que
LEER, COMPRENDER Y PENSAR 13
ciertamente, los lectores que mejor y peor comprenden se dife rencian en
su destreza para decodificar y en la rapidez con que reconocen el
significado de las palabras (Hunt, 1978; Schwartz, 1984).
En línea con este modelo, aunque desde otros planteamientos
teóricos, se considera la lectura como una conducta cuya adqui sición
equivale al aprendizaje secuencial y jerárquico de una serie de
discriminaciones visuales.
Existe, sin embargo, numerosa evidencia que pone de mani
fiesto la insuficiencia del modelo
anterior para explicar la conduc ta lectora entendida como proceso de
comprensión. Por ejemplo, patrones gráficos irreconocibles como letras
son fácilmente identi ficados como tales si se sitúan en el contexto de una
palabra; las palabras se leen a mayor velocidad si se encuentran formando
par te de frases; y éstas se asimilan con mayor rapidez si se encuentran
formando parte de un texto coherente. Estos hechos sugieren que el
conocimiento previo que posee el lector al enfrentarse con un texto
constituye una fuente de información que, una vez activada por el propio
texto o por el propósito con que el sujeto lee, modula la velocidad y
precisión con que se comprende un texto en cuanto que permite completar
la información proporcionada por éste.
La lectura como proceso descendente
Como consecuencia de las deficiencias del primer modelo, al gunos
autores han llegado a pensar que lo que diferencia funda mentalmente a
los buenos de los malos lectores son sus conoci mientos sintácticos y
semánticos previos y el uso que hacen de
ellos durante la lectura, uso que permite anticipar la información
contenida en el texto. La anticipación de las palabras o frases que van a
seguir al pasar la página es un hecho que ilustraría el supuesto
mencionado.
En consonancia con este modelo, aprender a leer implica ría no tanto
la adquisición secuencial de una serie de respuestas discriminativas
cuanto el aprendizaje de la utilización de los cono cimientos sintácticos y
semánticos previos para anticipar el texto y su significado.
No obstante, parece inexacto Armar que lo que diferencia a los
buenos de los malos lectores sea exclusivamente el uso de los
14 JESUS ALONSO TAPIA
conocimientos señalados como claves anticipatonas del texto y su
significado. Parece cierto que los lectores que mejor comprenden
comparados con los peores realizan menor número de fijaciones visuales
por unidad de tiempo. Sin embargo, los trabajos de Just y Carpenter
(1980) sobre los movimientos de los ojos al leer han puesto de manifiesto
que los buenos lectores fijan la mirada en cada palabra con independencia
del grado en que pueda ser pre
dicha a partir del contexto, lo que posibilita controlar si el texto se ajusta
a sus expectativas.
La lectura como proceso interactivo
Las limitaciones de los modelos anteriores han llevado a con siderar
la lectura como un proceso interactivo en el que el producto final -la
comprensión del texto- depende simultáneamente de los datos
proporcionados por éste, de los conocimientos de distintos tipos que
posee el lector y de las actividades que realiza durante la lectura.
Se considera que al leer un texto el sujeto comienza guiado
fundamentalmente por el mismo, procesando la información de modo
ascendente. Sin embargo, en la medida en que este proceso aporta al
lector un núcleo de información, éste activa un peque
ño número de datos o esquemas de conocimiento que permiten integrar la
información y ayudan en la comprensión de las frases siguientes, dado
que restringen los valores que pueden tomar las variables (letras, sílabas,
palabras, frases) al inducir la realización de ciertas inferencias sobre
aspectos no especificados en el texto y no otras. El sujeto construye, pues,
un modelo a partir de los es
quemas activados por los elementos iniciales del texto, modelo que va
siendo precisado progresivamente a medida que la información
inicialmente implícita se va haciendo explícita. A veces ocurre, sin
embargo, que las expectativas o hipótesis que el sujeto deriva del modelo
formado se ven contradichas por la información nueva que presenta el
texto, lo que obliga al sujeto a revisar sus hipótesis y a poner en juego
determinadas estrategias para remediar su fallo de comprensión.
La concepción de la lectura como proceso interactivo permite
integrar algunos de los datos proporcionados por la investigación
realizada en relación con los dos primeros modelos. El hecho de
LEER, COMPRENDER Y PENSAR 15
que el texto, aunque en diferente grado a lo largo de la lectura, sea uno de los elementos
determinantes tanto del tipo de conoci mientos que son activados en el sujeto como de la
contrastación de los modelos que éste se va formando en relación con el signifi cado de
aquel, justificaría el que los sujetos capaces de decodificar a mayor velocidad puedan
llegar a comprender mejor. También explicaría el hecho de que los buenos lectores, con
independen cia del grado en que las palabras puedan ser predichas a partir del texto, se
fijen en cada una de ellas. Ello ayudaría a confirmar o falsar las sucesivas anticipaciones
que van haciendo en función del conocimiento activado a partir de la información inicial.
Las fijaciones tendrían un significado distinto en los buenos y malos lectores una vez
comenzada la lectura. En los primeros, los cono cimientos activados permitirían
anticipaciones que acelerarían la velocidad de la lectura al tiempo que las sucesivas
fijaciones y la rapidez de decodificación confirmarían los modelos construidos o llevarían
a la revisión de los mismos. En los segundos, por el con trarío, aun cuando no hubiera
problemas en cuanto a rapidez de decodificación, la carencia de un repertorio de
conocimientos sin tácticos y semánticos adecuados o la no utilización estratégica de los
mismos haría disminuir la velocidad de la lectura y dificultaría la representación del
significado del texto.
Desde la perspectiva de este modelo, aprender a leer implica no sólo el aprendizaje de una
serie de discriminaciones visuales -lo que no se excluye- sino también el de una serie de
estrategias que van a facilitar la combinación de la información proporcionada por el texto
y la procedente de los conocimientos del sujeto, de forma que éste pueda constmir una
representación aceptable del signifi cado de aquél y almacenarla en la memoria para su uso
posterior, representación que constituiría la comprensión alcanzada del tex to. Entre tales
estrategias estarían (Cooper, 1986; Orasanu, 1986; Mateos y Alonsc-Tapia, 1991):
a) El establecimiento de un propósito de lectura o, lo que es igual, el hacerse consciente de
para qué se va a leer, lo que implica aprender a identificar qué es lo que se requiere hacer
o conocer para conseguir ese objetivo.
b) El uso de las claves del texto y del conocimiento previo pa ra generar inferencias y
predicciones sobre el significado de
JESUS ALONSO TAPIA
palabras, frases, fragmentos del texto, etc., y para evaluar Y revisar las hipótesis
formuladas. Esto supone que el sujeto debería aprender qué tipos de preguntas hacerse en
función del propósito de lectura y del tipo de texto; qué criterios de
be utilizar para valorar qué información es importante, para centrar la atención sobre ella, y
cuál no lo es, para prescin dir de la misma; y qué tipos de acciones son apropiadas y en qué
circunstancias para remediar los fallos de comprensión.
c) Estrategias de control tales como la búsqueda de conoci miento previo. En el contexto de
este modelo se considera que la interacción de los procesos ascendentes y descenden tes
tiene lugar dentro del ámbito de lo que se considera co mo memoria operativa, cuya
capacidad es limitada. Debido a este hecho, el sujeto debe aprender qué puede y qué debe
hacer para que su aprovechamiento de la lectura sea óptimo. Si bien la automatización de
ciertos procesos básicos -[Link]. la decodificación- puede liberar la atención del sujeto para
que se centre en otras tareas, el empleo de las estrategias de control aludidas puede facilitar
la categorización de la infor mación de forma más rápida y su traslado a la memoria a largo
plazo.
De acuerdo con lo anterior, se debe activar en los alumnos el conocimiento previo
relevante para la comprensión del texto que se les da a leer, y enseñarles a activarlo por sí
mismos cuando decidan leer por su cuenta. Esto es, se les debe en
señar qué pueden hacer que les ayude a recordar lo que ya saben acerca del tema sobre el
que trata el texto para afron tar la lectura con alguna idea acerca del mismo, ya que ello va
a facilitar la realización de inferencias al leer y la com prensión subsiguiente de lo leído.
d) Estrategias de supervisión y regulación de la comprensión (relectura; elaboración de
esquemas, imágenes y analogías; autocuestionamiento; uso de ayudas auxiliares como cues
tiones anexas, organizadores previos, etc.). En orden a orga nizar el mensaje en una
representación coherente, el lector debe aprender a identificar los distintos tipos de
relaciones lógicas y retóricas que pueden establecerse entre las propo siciones de un texto,
a identificar las claves explícitas típicas
LEER. COMPRENDER Y PENSAR 17
que señalan tales relaciones, y a decidir cuáles de las estra tegias
mencionadas pueden ayudarle a constmir una repre sentación
adecuada del significado del mismo.
Pese a todo lo que acabamos de decir, como ya señalábamos en la
introducción, los procedimientos de entrenamiento de hecho desarrollados
hasta ahora en base a los principios teóricos seiia lados no han permitido
llegar a conclusiones inequívocas sobre su efectividad debido en parte a
problemas ligados a la evaluación, punto que pasamos a comentar.
EVALUACION DE LA
COMPRENSION LECTORA
Considerando la lectura como proceso interactivo, tal y como
acabamos de describir, y teniendo presente que para orientar ade
cuadamente el entrenamiento es necesario evaluar no sólo el grado de
comprensión del sujeto sino las causas por las que ésta puede fallar, se
debería poder contar con instrumentos y estrategias de evaluación de los
siguientes aspectos:
a) Los presupuestos desde los que el sujeto parte al leer, sus ideas y
conocimientos sobre la naturaleza de la lectura y sobre lo que
determina la comprensión.
b) El proceso de construcción del significado -la actividad in ferencial
del sujet*. c) La supervisión de la propia comprensión a distintos
niveles (palabras, frases, relaciones entre frases, identificación del
mensaje o idea principal del texto, de las connotaciones que
van más allá del mensaje literal, del grado en que es valorado
críticamente, etc.).
d) Las estrategias que el sujeto utiliza para corregir los errores de
comprensión que se producen a los niveles señalados. e) Las estrategias
que sigue para identificar qué información
es más o menos importante en el texto y la que se debería retener en
función del propósito que guía la lectura. f) El producto de la
comprensión lectora: la representación que el sujeto construye tras leer
un texto, y que abarca desde la
18 JESUS ALONSO TAPIA
ración crítica del texto (modelo de
comprensión de las palabras hasta la interpretación y valo
la realidad referida en el texto) pasando por la constmcción de una
representación textual básica (modelo de las relaciones entre las proposicio nes contenidas en
el texto) (Kintsch, 1989; Perfetti, 1989).
Para recoger información sobre cada uno de los puntos ante riores se
han propuesto diferentes técnicas que pasamos a describir y valorar.
Evaluación de las variables que intervienen en el
proceso de la comprensión lectora
En relación con la evaluación de las variables que intervienen en el
proceso de comprensión y que son objeto de entrenamiento directo en
muchos programas se han desarrollado diferentes tipos de
procedimientos, cada uno de los cuales presenta diferentes pro
blemas, de acuerdo con el análisis realizado por Meichembaum y otros
(1985). El primero de ellos ha sido la entrevista orientada a examinar lo
que el sujeto conoce sobre la naturaleza del proceso lector y sobre las
estrategias que debe utilizar o ha utilizado para comprender lo que lee.
Esta técnica presenta algunos problemas, en especial si se utiliza con
niños pequeños. En primer lugar, por el tiempo que consume. En segundo
lugar, porque los resultados pueden verse sesgados por dificultades de
expresión de los niños y, cuando se usa retrospectivamente sobre un texto
especifico, por fallos en el recuerdo y porque las respuestas pueden ser
racionali zaciones sobre lo que el sujeto cree que ha hecho, más que
reflejo de lo que en realidad ha ocumdo. Por último, por las diferencias
entre adultos y niños en el uso del lenguaje. Esto no significa que no sea
útil pero, dadas las limitaciones descritas, se requieren con troles
adicionales de la calidad de la información que proporciona (Garner,
1987).
Otro procedimiento es el registro de los pensamientos en voz alta durante la
lectura. Este procedimiento tiene la caracteristi
ca de que el comportamiento que se evalúa se
halla íntimamente ligado a las peculiaridades especificas del texto a leer,
lo que cons tituye tanto una ventaja como un inconveniente. Ventaja por
el carácter ecológico de la actividad mental que el sujeto pueda ex-
LEER, COMPRENDER Y PENSAR 19
teriorizar en sus verbalizaciones. Inconveniente, porque el texto
condiciona en buena medida lo que el sujeto puede producir, y ello puede
llevarnos a equívocos sobre los conocimientos estraté gicos del niño salvo
que utilicemos diferentes textos; pero en este caso nos encontramos con la
dificultad que supone el tiempo de categorización y corrección de los
protocolos verbales. Esto sin considerar las limitaciones que el método
lleva consigo, como es el que los resultados pueden verse sesgados
debido a la fluidez verbal de los sujetos, a la diferente accesibilidad a la
conciencia de los procesos que pretendemos evaluar, a la posibilidad de
que el con
tenido de las verbalizaciones se vea sesgado por pistas y refuerzos que el
examinador dé al sujeto durante la recogida del protocolo y a la
interferencia del proceso natural de pensamiento por el hecho de tener
que pensar en voz alta. Como en el caso de la entrevis
ta, no es que el procedimiento no sea útil -ha sido utilizado con buenos
resultados en algunos casos (Olshavsky, 197677; Garner y Alexander,
1982; Hare y Smith, 1982)- sino que se requieren controles adicionales de
la calidad de los resultados.
Un tercer procedimiento es el conocido como análisis de la actividad
tutorial en relación con la comprensión de la lectura realizada por los
sujetos a evaluar cuando éstos deben orientar la comprensión lectora de
sujetos de menor edad (Garner, Macready y Wagoner, 1984). Esta
técnica, en la que se pide al tutor que ayu
de al lector sin respoder a las preguntas directas de éste, puede ser útil
para que los tutores extemalicen el conocimiento que tienen y el uso que
hacen de diferentes estrategias. Tiene, sin embargo, el inconveniente de
que tal conocimiento no se exteriorice por falta de motivación de los
sujetos para la verbalización.
Un cuarto procedimiento muy utilizado en investigación es la
manipulación de textos para crear inconsistencias y la evalua ción del
grado en que éstas son detectadas por los sujetos. Este procedimiento no
está exento de dificultades, si bien en algunos estudios se han controlado
parte de ellas, en parte gracias al uso de ordenadores en la presentación
del texto (August, Flavell y Clift, 1984). Entre tales dificultades se
encuentran:
teriales escritos son adecuados, lo que
a) El hecho de que los niños tienden a suponer que los ma
hace que no estén preparados para detectar inconsistencias.
JESUS ALONSO TAPIA
b) La realización de inferencias para organizar el mensaje del texto,
inferencias que pueden llevar a imaginar situaciones que hagan
congruente lo que no lo es.
c) El que se utilicen informes verbales como variable dependien te, dado
que puede ocurrir que éstos no reflejen la conducta real.
d) La naturaleza del contenido de los textos utilizados, variable que se ha
comprobado que influye en el grado de detección de errores (Garner y
Anderson, 1982).
e) El hecho de que la inteligencia verbal pueda determinar di ferencias en
la detección del error.
A todos estos inconvenientes hay que añadir el hecho de que esta
técnica es útil fundamentalmente para evaluar si el sujeto detecta
inconsistencias, pero lo es menos para el examen de otras actividades que
el sujeto realiza durante el proceso de compren
sión.
Por último, otra forma de afrontar el análisis de lo que el sujeto hace
durante la lectura y que puede afectar a la compren sión es observar
distintos aspectos de la propia ejecución. Con este fin se han observado los
movimientos oculares durante la lectura (Just y Carpenter, 1980), la
medida del tiempo real que conllevan determinados procesos básicos
(identificación física de los estimu los, acceso léxico, verificación de
frases, construcción de modelos, etc.) (Schwartz, 1984; Vega y otros,
1990), y el examen de los erro res en la lectura oral y la corrección
espontánea de los mismos en relación con su grado de aceptabilidad
semántica (Sadoki y Lee, 1985). La mayoría de estas técnicas son muy
prometedoras, pero presentan entre otros el problema del costo del material y la com plejidad de
aplicación e interpretación, lo que las hace inviables fuera de los
contextos de investigación en los que habitualmente se utilizan.
En cuanto al examen de los errores durante la lectura oral y su
corrección espontánea, se basa en la idea de que el lector hace uso de tres
tipos de señales: sintácticas, semánticas y grafofónicas, y que los errores y
las correcciones muestran a qué tipo de señales está atendiendo el sujeto
mientras procesa el texto. Por ejemplo, si en el texto dice "montó en su
camello" y un lector lee "cabello" y no corrige el error, y otro dice
"caballo" y tampoco lo corrige, el
LEER, COMPRENDER Y PENSAR 21
error en el primer caso es menos aceptable semánticamente que el
segundo. Por otra parte, la corrección del primer error supondría que el
lector está procesando semánticamente la información, lo que le ha
permitido detectar su equivocación. El problema con esta técnica es que,
como señala Johnston (1989) existen muchos sistemas potenciales de
señales como el tipo de texto (narrativo, expositivo, etc.), lo que dificulta
deteminar en función de estos errores el tipo de procesamiento que el
lector está realizando a distintos niveles.
Evaluación del producto del proceso de comprensión
En cuanto a la evaluación de la comprensión, se han utiliza do
diversas medidas, siendo una de las más frecuentes el recuer do libre,
codificado y valorado de acuerdo con distintos modelos (Meyer, 1975).
No obstante, pese a que es mucho lo que se puede inferir sobre la
comprensión del sujeto a partir del material re cordado, y a que las
intrusiones, omisiones y distorsiones pueden informamos del efecto del
conocimiento previo, no se puede decir gran cosa sobre la comprensión
de lo que no se recuerda. De acuer do con Johnston (1989), hay una serie de
razones que explican el fracaso en la producción de información en el
recuerdo libre, dife rentes de la ausencia de comprensión. Por ejemplo, los
déficits de producción, el bloqueo a la hora de tratar de recuperar la infor
mación, la elaboración de protocolos rápidos debida a una mala
interpretación de las demandas de la tarea, etc. Si el lector no es
consciente del tipo de detalles que debe retener y reproducir más tarde, si
no tiene claro la perspectiva desde la que debe presentar lo que recuerda -
lo que implica que debe elaborar hipótesis acerca de la perspectiva del
examinador-, si no tiene estrategias adecua das para rastrear y recuperar la
información, o si sus habilidades de producción oral o escrita no son
adecuadas, el recuerdo libre puede damos una imagen sesgada de la
comprensión que es capaz de lograr el sujeto.
Una segunda técnica para evaluar la comprensión es el reco nocimiento +n
pruebas de verdadero falso o de elección forzosa de lo leido o de aspectos
que se deducen de ello. Las preguntas de verdaderefalso eliminan el
problema de las demandas de produc ción, pero tienen el problema de que
hay un 50% de posibilidades
22 JESUS ALONSO TAPIA
de acertar. Por otra parte, el lector necesita algún criterio para determinar la veracidad o
falsedad de la pregunta, criterio que puede ser la semejanza superficial del enunciado con
alguno de los enunciados incluidos en el texto o la semejanza del significa
do de ambos. Si la estructura del enunciado es similar a la del enunciado original pero la
frase es falsa, es preciso que el sujeto se apoye en la valoración del significado. Pero es
probable que los lectores con experiencia de su propio fracaso, aun comprendien
do correctamente, decidan seguir las indicaciones de la estructura superficial que para ellos
son una prueba más convincente que su dudosa transformación (Johnston, 1989).
En cuanto a las preguntas de opción múltiple, constituyen uno de los procedimientos más
dificiles de elaborar, pero si se usa correctamente, uno de los más útiles. Permiten puntuar
objetiva mente a un gran número de individuos, reduciendo la probabilidad de acierto por
azar en relación a las preguntas de verdadero falso. Sin embargo, la utilidad de estas
preguntas depende de que las op ciones se desarrollen en base a una teoría, de forma que la
elección de alternqtivas incorrectas permita inferir que tipo de problema determina la falta
de comprensión en cada caso, inferencias cuya validez tendrá que ser demostrada en
cualquier caso. Otra técnica, considerada una veces como indicador del pro ceso de comprensión y otras como
indicador del producto, son los tests de cierre o completamiento de textos en los que faltan
pa labras (Tylor, 1953; Condemarin y Milicic, 1990). Esta técnica, de fácil preparación,
indica fundamentalmente si el sujeto tiene una buena comprensión fundamentalmente a
nivel de frase, da do que, para completar las lagunas que encuentra, ha de usar la
información procedente del contexto, razón por la que también informa en cierto modo de
un aspecto del proceso de lectura que influye en la comprensión, el uso del contexto. Sin
embargo, uno de los problemas que tienen muchos lectores es que no supervisan su
comprensión, esto es, no detectan lagunas o inconsistencias en la misma, algo que viene
dado de modo artificial por las pruebas de completamiento. Este hecho hace que estas
técnicas sean un indicador inadecuado de la comprensión que el sujeto de hecho logra
cuando lee un texto no modificado.
Con independencia de las limitaciones particulares que pue dan tener cada una de las
técnicas descritas (Farr y Carey, 1986),
LEER. COMPRENDER Y PENSAR 23
si lo que se persigue es determinar el grado en que el sujeto utiliza el
contexto para resolver las dificultades de comprensión, algo que es objeto
de entrenamiento con frecuencia (Mateos, 1989), parece necesario que el
sujeto deba contestar a preguntas que, formula
das tras la lectura del texto o parte del mismo, requieran para su respuesta
correcta la realización de inferencias precisas, de modo que si tales
actividades no se producen, la comprensión no pueda darse. Esto
permitiría conocer no sólo que el sujeto no ha com
prendido algo sino también por qué no lo ha comprendido. En cualquier
caso, este tipo de preguntas que podrían presentarse utilizando el formato
de elección múltiple- serían adecuadas para evaluar un aspecto de la
comprensión -la representación del signi
ficado que depende del uso del contexto, pero no la representación que
supone una integración del mismo.
EVALUAR LA SUPERVISION
Y REGULACION DE LA COMPRENSION
Planteamiento
La necesidad de valorar la efectividad de la intervención cuan do esta se se
dirige a facilitar en el sujeto la toma de conciencia de los fallos de
comprensión, la identificación de los mismos y el empleo de estrategias
apropiadas destinadas a remediarlos, unida a las consideraciones
expuestas sobre las limitaciones de los di ferentes procedimientos de
evaluación, nos ha llevado a plantear el desarrollo de una estrategia de
evaluación que requiere la utili zación de diferentes técnicas relacionadas
entre sí, ya que lo que se deduce de la breve revisión presentada de los
procedimientos de evaluación es la necesidad de convergencia entre los
resulta dos obtenidos con la utilización de diferentes métodos, ya que por
separado todos tienen limitaciones. En este trabajo, que ha sido precedido
de un estudio piloto ya publicado realizado con alumnos de 5O de .EGB
(Alonso Tapia, Mateos, Carrera y Carriedo, 1987), pretendemos explorar
la viabilidad de nuestro planteamiento de la evaluación en relación con
alumnos del Ciclo Superior de la EGB.
En cualquier caso, se requiere un análisis previo de las cuali dades
métricas de las pruebas, dado que tales cualidades condicio nan la validez
de los resultados de los estudios en que se utilicen. Por ello, en el
presente estudio hemos comenzado con la realiza-
24 JESUS ALONSO TAPIA
ción de los análisis relativos a la dificultad y a la homogeneidad de los
elementos y a la consistencia interna de las pruebas en los casos en que la
naturaleza de las mismas hacia posible este análisis.
Hipótesis
En concreto, consideramos que debería haber relación entre la
proporción de fallos de comprensión detectados y expresamente
manifestados en relación con los fallos de comprensión totales, el
conocimiento de las estrategias que se deben utilizar para remediar fallos
de comprensión reales o supuestos en situaciones concretas, y la
comprensión final manifiesta en textos diseñados de tal for ma que la
comprensión sólo pueda darse si el sujeto aplica las estrategias
especificas de inferencia evaluadas en el cuestionario anterior.
Esta hipótesis general, no obstante, debe ser matizada. No cabe
esperar que las correlaciones sean muy altas entre la detec ción de fallos y
la comprensión, ya que ello requiere, además, saber cómo remediar el
fallo. No obstante, esperamos que esta sea signifi cativa. Esperamos,
además, que el conocimiento de las estrategias especificas a utilizar sea el
principal predictor de la comprensión cuando los problemas pueden
resolverse utilizando el texto, algo para lo que ha sido necesario construir
una prueba con las características anteriormente mencionadas.
Muestra
Se han utilizado 607 sujetos de los colegios San Agustín, Vir gen de
Lourdes y Ramón Pérez de Ayala, de Madrid. De ellos, 205 eran de 6O de
EGB, 217 de 7O y 205 de 8"; 147 eran chicas y 480, chicos.
Materiales
Con base en los mismos textos, se han diseñado un total de 3
procedimientos de evaluación que pasamos a describir:
a) Estrategia para evaluar la detección de fallos de compren sión.- Consta
de dos partes. En la primera se presentan al sujeto 22 textos en relación
con los cuales debe expresar en forma de pregunta los problemas que
haya tenido para en tenderlos. El numero de preguntas formuladas,
puntuadas de acuerdo con los criterios que se indican en el apéndice
1.1
LEER, COMPRENDER Y PENSAR 25
de este capítulo, donde se incluyen también los textos utili zados en esta parte de la prueba,
proporcionan una medida de "fallos de comprensión detectados". Para poder valorar lo
que significa esta medida, se utilizan la suma de los fallos de comprensión detectados y los
no detectados. La informa ción relativa a estos últimos se obtiene a partir de la última de
las pruebas construidas, que utiliza los mismos textos, y en la que se evalúa la comprensión
de diferentes aspectos del texto. El número de preguntas falladas en esta prueba, siempre y
cuando no correspondan a fallos ya detectados por el sujeto, se añade a los fallos de
comprensión detecta dos para obtener el número total de fallos de comprensión. A
continuación se obtiene la proporción de fallos detectados dividiendo el número de éstos
por el número total de fallos.
b) Prueba de conocimiento de las estrategias reguladoras a apli car en situaciones
específicas.- Consta de 22 elementos de elección multiple. En cada uno de ellos se presenta
un texto y se sugiere un fallo de comprensión que puede haber tenido lugar o no, y se
pregunta al sujeto cuál de las estrategias que siguen es la más adecuada para resolver el
fallo -la que permitirá con mayor probabilidad remediar el fallo produ
ciendo al tiempo menor distorsión en el proceso lector. Para determinar la respuesta
correcta hemos seguido las sugeren cias de Collins y Smith (1982) y Sternberg y Powell
(1983). La prueba se incluye completa en el apéndice 1.2.
c) Prueba de comprensión basada en el uso de estrategias Esta prueba, basada en los
mismos 22 textos que la prueba de conocimiento de estrategias, se hace a los sujetos una
pre gunta especifica sobre cada texto utilizando un formato de elección múltiple. Cada
pregunta ha sido diseñada de modo que sólo puede ser respondida si se utilizan las
estrategias adecuadas al problema de comprensión que se plantea. Por ejemplo, para
evaluar el uso que el sujeto hace de las pis tas que ofrece el texto para deducir el significado
de una palabra, se han utilizado terminos que por su uso nulo en los textos de los sujetos a
los que va dirigida la prueba, no puedan ser respondidas en base al conocimiento previo de
la misma. Cada una de las preguntas que constituyen esta
26 JESUS ALONSO TAPIA
pmeba se incluye inmediatamente después que la pregunta correspondiente al mismo texto
en la pmeba de uso de es trategias, con el fin de evitar que el sujeto tenga que leer dos
veces el mismo texto. Se encuentran, pues, formando parte del apéndice 1.2.
Resultados
a) Análisis de las pruebas.
En primer lugar se han calculadro los indices de dificultad de los diferentes elementos, la
correlación de cada item con el to tal (homogeneidad) y los índices de consistencia interna
para las pmebas de conocimiento y uso de estrategias. Los resultados se muestran en la
tabla 1.1. Como puede comprobarse, el nivel me dio de dz3cultad de la prueba de
Conocimiento de Estrategias es medio, aunque sería necesario cambiar la posición de
algunos ele mentos en función de su facilidad o dificultad elevadas. Por otra parte, la
pmeba de comprensión basada en el uso de estrategias resulta relativamente fácil para los
sujetos de los niveles exami nados. No obstante hemos de señalar que el uso adecuado de
las estrategias adecuadas para regular fallos de comprensión dista mu cho de ser algo adquirido a estos niveles, como
veremos al analizar las medias de cada gmpo.
En cuanto a Ios índices de homogeneidad, son excelentes. Tan sólo en tres casos bajan de
0.25. Este hecho sigiere que contribu yen de modo adecuado a medir lo mismo que está
midiendo el conjunto de la pmeba.
Por último, los indices de consistencia interna de son bastan te aceptables -0.75 en la pmeba
de Conocimiento de Estrategias y 0.63 en la pmeba de comprensión basada en el uso de
estrategias. Quizás la excesiva facilidad de algunos de los elementos de esta prueba haya
contribuido a que la fiabilidad no sea más alta.
28 JESUS ALONSO TAPIA
Como estudio complementario hemos realizado un análisis de
varianza de las puntuaciones obtenidas por los sujetos de distinto nivel
escolar en cada prueba, incluyendo la de detección de fallos de
comprensión. Los resultados de este análisis se recogen en la tabla 1.2.
TABLA 1.2
DIFERENCIAS DE MEDIAS EN FUNCION
DE LA EDADICURSO (Anova)
Como puede comprobarse, las puntuaciones en las pruebas de co
nocimiento de estrategias y comprensión basada en el uso de es trategias
tienden a aumentar con la edad, aunque sólo son sig nificativas las
existentes entre los curso de 8O y 7' con respecto
a 6O. En la prueba de detección de fallos, los sujetos de séptimo puntúan
más bajo que los de 6' y So, que no difieren entre sí. Por ota parte, si
consideramos las medias en relación con el nivel má ximo que es posible
alcanzar en cada pmeba, hemos de concluir que a este nivel es deseable
que continúe el entrenamiento de las habilidades evaluadas ya que distan
mucho de estar adquiridas. En el caso de la prueba de estrategias, el
análisis de la frecuencia con que ha sido elegida cada alternativa de
respuesta ha puesto de manifiesto que la estrategia escogida con más
frecuencia sin ser la correcta ha sido "mirar en el diccionario" cuando lo
adecuado era "usar las pistas del contexto". Este hecho sugiere la
necesidad de modificar la instrucción, dado que es preciso que los sujetos
identifiquen las situaciones en que el uso de cada una de tales estrategias
es adecuado.
LEER, COMPRENDER Y PENSAR 29
b) Relaciones entre las pruebas
A fin de comprobar la hipótesis de que partíamos, hemos es tudiado
mediante análisis de regresión, el grado en que las puntua ciones en las
pruebas que evalúan procesos, conjuntamente con sideradas, permiten
predecir las puntuaciones en la prueba que
evalúa la comprensión basada en el uso de estrategias. Los resul tados se
recogen en la tabla 1.3.
TABLA 1.3
ANALISIS DE LA REGRESION
Variables predictoras: DFC(Detección de fallos)
y CE(Conocimiento de estrategias)
R=0.55
VARIABLE COEF. REGRES. COEF. REGRES.
ESTANDAR
1: CONSTANTE 4.476
7.899 0.38 11.18 0.0000 1
0.331 0.42 11.82 0.0000
La inspección de los mismos pone de manifiesto que, de acuerdo con lo
esperado, todos los predictores utilizados tienen un peso altamente
significativo en la predicción y explican en conjunto el 30.8% de la
varianza cuando el criterio es la prueba de compren
sión que hemos denominado "uso de estrategias". Se confirma, pues, la
adecuación de los supuestos de que partíamos sobre la relación entre las
medidas de supervisión y capacidad de regular la comprensión y la
comprensión lograda de hecho cuando se mide a través de pmebas en que
esta depende exclusivamente de tales variables.
CONCLUSIONES
En el presente trabajo hemos presentado una estrategia de evaluación
que puede ser útil a la hora de investigar el impacto que diversos
programas de entrenamiento pueden tener en relación con
30 JESUS ALONSO TAPIA
la mejora de la comprensión lectora. La estrategia es prometedo ra, dados los resultados
derivados de los estudios de regresión. Sin embargo, el análisis de las características
métricas de las prue bas ha puesto de manifiesto algunas deficiencias en las mismas, tales
como la excesiva facilidad de la prueba de uso de estrate gias, que permiten explicar, en
algunos casos, que los resultados no hayan sido los deseados. Este hecho subraya la
necesidad de realizar este tipo de análisis antes de utilizar pruebas construidas
expresamente con fines de investigación, ya que las deficiencias de las pruebas pueden
echar por tierra los resultados que se obten gan. Por otra parte, nos parece que sería
necesario estudiar si los resultados del índice de detección de fallos de comprensión, detec
ción que implica una actividad de tipo metacognitivo, correlaciona significativamente con
medidas como la corrección espontánea de errores en la lectura oral. En cualquir caso,
consideramos un re sultado positivo el que una medida de proceso que refleja no sólo que
el sujeto detecta que no comprende sino también qué es lo que no comprende, tenga la
validez predictiva que ha resultado tener en relación con una prueba que, por su estmctura, cons
tituye un criterio idóneo para su medición. Finalmente, creemos que la aportación
fundamental del estudio está no tanto en las pruebas desarrolladas cuando en la validez de
la estrategia de eva luación de las capacidades estudiadas, lo que su$ere una vía para el
desarrollo de nuevas técnicas siguiendo la misma estrategia.
APENDICES
AL CAPITULO 1