¿Qué es PISA?
El nombre PISA corresponde con las siglas del programa según se enuncia en inglés:
Programme for International Student Assessment, es decir, Programa para la Evaluación
Internacional de Alumnos. Se trata de un proyecto de la OCDE (Organización para la
Cooperación y el Desarrollo Económicos), cuyo objetivo es evaluar la formación de los alumnos
cuando llegan al final de la etapa de enseñanza obligatoria, hacia los 15 años. Se trata de una
población que se encuentra a punto de iniciar la educación post-secundaria o que está a punto
de integrarse a la vida laboral. Es muy importante destacar que el Programa ha sido concebido
como un recurso para ofrecer información abundante y de-tallada que permita a los países
miembros adoptar las decisiones y políticas públicas necesarias para mejorar los niveles
educativos.
La evaluación cubre las áreas de lectura, matemáticas y competencia cientí-fica. El
énfasis de la evaluación está puesto en el dominio de los procesos, el entendimiento de los
conceptos y la habilidad de actuar o funcionar en varias situaciones dentro de cada dominio.
Los exámenes
Los exámenes utilizados en el proceso de evaluación no requieren otra cosa que papel y
lápiz y cada estudiante cuenta con dos horas para responderlo. Cada examen es una
combinación de preguntas directas con una única respuesta correcta (preguntas que sólo
admiten algunas palabras o algunas frases breves por respuesta, o que ofrecen múltiples
opciones para que el alumno marque alguna o algunas), y preguntas que requieren que los
estudiantes elaboren sus propias respuestas. Las preguntas del primer tipo sólo pueden ser
correctas o incorrectas, y las del segundo tipo son de evaluación más compleja y admiten
respuestas parcialmente correctas. Es importante destacar que si bien PISA utiliza la
herramienta de las preguntas de opción múltiple, una porción importante de los reactivos,
particularmente los más complejos, requieren del alumno la redacción de textos e incluso la
elaboración de diagramas.
[Link]
Numerosos expertos, como el catedrático de sociología de la educación Julio Carabaña,
demuestran sólidamente que este programa de evaluación estandarizada carece de valor para
ayudar a mejorar la enseñanza en las aulas y el funcionamiento de las escuelas. La razón
principal es que las pruebas de este examen miden capacidades muy generales que dependen
de la experiencia acumulada en toda la vida del alumnado, desde su nacimiento. Por ello, como
incluso reconoce PISA en sus propios textos «si un país puntúa más que otro no se puede
inferir que sus escuelas sean más efectivas, pues el aprendizaje comienza antes de la escuela
y tiene lugar en una diversidad de contextos institucionales y extraescolares».
De ahí, plantea, la inadmisible pretensión de este organismo económico, la OCDE, que
manifiesta que su intención es utilizar PISA para «llevar las políticas educativas en una
dirección determinada». No sólo porque las capacidades que mide PISA dependen poco o nada
de las escuelas, sino porque ni siquiera dependen de los cambios pedagógicos y políticos que
PISA propone. Por eso cada vez más expertos consideran que PISA no solo es un fracaso, sino
un fraude, pues no sirve para cumplir su objetivo principal, que es ayudar a la mejora de las
escuelas y los sistemas educativos.
En 2007, un grupo de investigadoras e investigadores analizó de forma pormenorizada la
metodología de PISA y publicó sus conclusiones en el libro PISA according to PISA. Además de
asegurar que los rankings que comparan los resultados entre países «están basados en tantos
puntos débiles que deben ser abandonados de inmediato», apuntaron que los productos
asociados a PISA, como los análisis sobre cómo deben ser las buenas escuelas o las
diferencias entre los distintos sistemas educativos, «van mucho más allá de lo que permite una
aproximación cauta a estos datos. Son en su mayoría pura especulación».
Las capacidades que mide PISA dependen poco o nada de las escuelas
Otra crítica extendida es que PISA sólo evalúa los conocimientos y competencias de alumnado
de 15 años en matemáticas, ciencia y compresión lectora, pero ni realiza un seguimiento
longitudinal de la evolución de los estudiantes, ni se para a analizar qué saben de otras
materias o habilidades que van de la historia a la filosofía, a la creatividad o al arte. Es más,
convierte en secundarios y marginales estos saberes que «distraen» de que se tenga un buen
resultado en las pruebas PISA. Por eso no es de extrañar que la LOMCE, en coherencia, haya
suprimido buena parte de Filosofía o de enseñanzas artísticas y musicales.
En este sentido, expertas latinoamericanas se preguntan si lo que mide PISA es la creatividad o
la adaptación al modelo neoliberal de nuestros jóvenes: «Se pretende presentar la
estandarización bajo los ropajes de la objetividad cuando lo cierto es que en el fondo encubre la
pretensión de hegemonizar, a través de su medición, los valores de una determinada sociedad.
¿Por qué no observar el desarrollo de las emociones, las capacidades de interrelación, la
creatividad de los jóvenes en su contexto cultural y social?».
Recientemente 83 expertos internacionales muy reconocidos en educación enviaron una carta
al director del programa PISA, expresando su preocupación por que, como resultado de PISA,
muchos países están reformando sus sistemas educativos, buscando soluciones a corto plazo,
con la esperanza de mejorar en el ranking, pese a que la investigación muestra que los cambios
duraderos en las prácticas educativas necesitan décadas.
Otras críticas se centran en la aplicación de las mismas pruebas estandarizadas a alumnado de
15 años, independientemente de las diferencias significativas en relación a su proceso
educativo y a su escolaridad, e indistintamente del curso en el que se encuentren y de los
contenidos que hayan estudiado (cuando en España hay una alta tasa de repetición entre el
alumnado de 15 años).
Se critica que se compare lo que no es comparable. No es lo mismo un colegio en un centro
urbano que en un área rural o una zona suburbial. No es lo mismo educar a jóvenes en
situación de riesgo o con graves dificultades de aprendizaje que a estudiantes procedentes de
las élites culturales de un país. Es más, una escuela puede desarrollar un proceso educativo
muy bueno sin que esto se refleje necesariamente en puntajes altos en las pruebas PISA. Pero,
en todo caso, PISA no tiene en cuenta dónde está la escuela, de dónde se partía cuando se
inició el proceso educativo o que transformaciones se han logrado con la intervención
pedagógica.
También se critica el negativo papel que desempeñan este tipo de pruebas estandarizadas
internacionales en promover la competencia, etiquetando y clasificando alumnado y docentes
en función de su rendimiento.
Además, estas pruebas «miden lo que puede ser medido». Es decir, los estudiantes
seleccionen la respuesta correcta, pero no pueden medir más. Las puntuaciones no dicen nada
acerca de la imaginación o la creatividad de los estudiantes, su capacidad para hacer buenas
preguntas, su inventiva, su capacidad crítica y de transformación justa del mundo. La obsesión
de preparase para este tipo de exámenes estandarizados da un peso excesivo a las habilidades
para seguir instrucciones y procedimientos, en desmedro de verdaderas competencias de
innovación o creatividad.
Más críticas apuntan a la concepción homogeneizadora de las pruebas sin tener en cuenta el
contexto socioeconómico y cultural de cada país y región, cuestionando los sesgos
socioculturales de los ítems de las pruebas. Como si solo existiera un mundo, una única cultura
y una única forma de insertarse productivamente en este mundo.
También se preguntan para qué seguir haciendo estas pruebas tan costosas y que suponen un
desembolso público muy considerable, en un contexto de recortes continuados en lo educativo,
puesto que reiteran periódicamente lo que ya de hecho sabemos. Los resultados de estas
pruebas estandarizadas nada aportan que no sepamos sobre el funcionamiento de nuestros
sistemas escolares.
[Link]
PRUEBAS PISA SEIS CONCLUSIONES Y UNA PREGUNTA
El Programa para la Evaluación Internacional de Estudiantes (PISA), de la Organización para la
Cooperación y el Desarrollo Económicos (OCDE) es una prueba de dos horas de duración que
desde 2000 se aplica cada tres años a estudiantes de 15 años de edad para medir
competencias en tres áreas: Lectura, Matemáticas y Ciencias. Se considera que a esa edad
están próximos a concluir la educación establecida como obligatoria en la mayoría de los
países.
Los resultados de la prueba aplicada en 2009 (última prueba cuyos resultados están
disponibles) reiteraron fundamentalmente lo que ya sabemos por anteriores pruebas PISA —
excepto por un tema nuevo, la lectura digital— así como por demás estudios y exámenes
aplicados a alumnos en sistemas escolares a nivel nacional, regional e internacional.
65 países participaron en PISA 2009, 10 de ellos de América Latina y el Caribe: Argentina,
Brasil, Colombia, Costa Rica, Chile, México, Panamá, Perú, Trinidad y Tobago y Uruguay
(México y Chile son los únicos miembros de la OCDE).
El énfasis de PISA 2009 fue la Lectura. La competencia de lectura digital se midió en 19 países:
16 de la OCDE (Australia, Austria, Irlanda, Bélgica, Chile, Dinamarca, Francia, Hungría,
Islandia, Japón, Corea, Nueva Zelanda, Noruega, Polonia, España y Suecia) y 3 países no
miembros (Colombia, Hong Kong-China y Macao). Los dos países latinoamericanos —Chile y
Colombia— se ubicaron en los dos últimos lugares.
Corea del Sur y Finlandia se ubicaron en los dos primeros lugares de la prueba, seguidos de
Hong Kong-China, Singapur, Canadá, Nueva Zelanda y Japón. La provincia de Shanghái, en
China, participó por primera vez en PISA y obtuvo el puntaje más alto en Lectura, así como en
Matemáticas y Ciencias.
Seis grandes conclusiones se derivaron de PISA 2009:
“Ningún
sistema educativo puede superar la calidad de sus maestros”, concluía en 2008 el Informe
McKinsey —“Cómo hicieron los sistemas educativos con mejor desempeño del mundo para
alcanzar sus objetivos”— tomando como base los resultados de PISA, y recomendaba al
respecto: conseguir a las personas más aptas para ejercer la docencia; desarrollarlas hasta
convertirlas en docentes eficientes; y garantizar que el sistema sea capaz de brindar la mejor
educación posible a todos los estudiantes.
Hay países
con calendarios y jornadas escolares extensos que obtienen resultados más bajos en las
pruebas que otros con calendarios y jornadas más cortos. Finlandia es la nación con menos
horas de clase entre los “países desarrollados” y el que mejores puntajes obtiene
históricamente en PISA, muy por encima de España, con más horas de clase al año. México es
el país que más tiempo escolar desperdicia entre los países de la OCDE. Asimismo, más años
de escolaridad no aseguran mejores niveles de conocimiento, como lo muestra claramente el
caso de México.
Un país con más altos niveles de escolaridad no está necesariamente “más educado”. Lo que
importa es para qué, en qué, dónde y cómo se usa el tiempo y no meramente cuánto (duración
de la clase, de la jornada escolar, del año escolar, de años de escolaridad, etcétera). Por otra
parte, acceder a educación preescolar está asociado a mejores resultados en las pruebas,
especialmente en Lectura, pero no cualquier educación preescolar sirve: su calidad es
fundamental. Queda confirmado que la repetición escolar es inútil como estrategia para
asegurar el aprendizaje y es muy costosa para los países.
Sabemos hace
mucho que la solución a los problemas escolares no pasa sólo ni necesariamente por la
necesidad de más dinero y que esto es cierto tanto para los países pobres como para los ricos.
Los resultados de la prueba internacional PISA confirman que (a) los recursos financieros son
condición necesaria, pero no suficiente, para lograr un buen sistema escolar; (b) no importa sólo
cuánto dinero se invierta, sino sobre todo en qué y cómo se gasta. (Agrego que importa también
de dónde provienen los dineros: aporte de las familias, fondos previsionales, endeudamiento
externo, empresas privadas, multinacionales, etcétera).
Según se desprende de los datos de PISA, apenas 20% de los resultados tiene relación con la
cantidad de dinero invertido en la educación escolar. Países con presupuestos educativos más
altos no son necesariamente los mejor ubicados en los rankings elaborados a partir de dichas
pruebas. Estados Unidos invierte mucho más por alumno que varios de los países con los que
compite y no están en los primeros lugares en las pruebas internacionales. México es el país
que más invierte en educación entre los países que integran la OCDE y se ubica a la cola por
sus resultados en dichas pruebas. Los indicadores tradicionales “porcentaje del PIB destinado
a la educación” o “gasto por alumno” son por ende insuficientes y engañosos; requieren
acompañarse de otros indicadores que den cuenta de la eficiencia, la calidad, la pertinencia y la
transparencia del gasto.
Los países
que avanzaron en los puntajes desde la anterior prueba PISA tienen en común haber
incrementado los salarios a los docentes, junto con una mayor atención a la situación general
de los mismos, incluidos sus saberes y su satisfacción laboral. De hecho, esta medida parece
ser más eficaz que reducir el número de alumnos por clase (no obstante, como es obvio, “el
tamaño de la clase parece ser más importante en los primeros años de escolarización que a los
15 años”).
Los bajos
resultados coinciden en gran medida con factores como el ingreso familiar y el nivel educativo
de los padres, mostrando así el impacto intergeneracional de la pobreza y de la educación y,
por ende, la necesidad de:
a) intervenciones integrales que no se limiten a la política educativa-escolar sino que
apunten a mejorar las condiciones de vida de las familias y de toda la sociedad, y
b) asumir de manera integrada la educación de niños, jóvenes y adultos dentro y fuera
del sistema escolar y a lo largo de la vida.
La mayoría
(94%) de los estudiantes en los países participantes de la OCDE tienen computadora en casa.
Corea del Sur obtuvo los mejores puntajes, tanto en lectura impresa como en lectura digital y
anunció al poco tiempo que descartaría los libros de texto en papel, adoptaría libros de texto
digitales como política nacional y digitalizaría todo el currículo (decisión que revisó y rectificó
poco después). Los países europeos, incluidos los nórdicos —que han tenido siempre
resultados destacados en PISA— están rezagados en este campo.
En la mayoría de países, los jóvenes leen mejor los textos impresos que en la pantalla. Los
problemas de compresión lectora en el mundo impreso se extienden al mundo digital. Tener
computadora e Internet en el hogar contribuye a un mejor manejo de estas herramientas y a
una mejor competencia en lectura digital que cuando el acceso se da en el colegio. El uso
frecuente de la computadora (todos los días) tanto en la escuela como en el hogar no aparece
asociado a mejores resultados sino al contrario; tanto el exceso en el uso como la ausencia de
éste tienen impactos negativos.
En la última década ha bajado el porcentaje de jóvenes de 15 años que leen por placer (de 69%
en 2000 a 64% en 2009). En general, las dos últimas pruebas PISA (2006 y 2009) no muestran
una correlación entre uso de tecnologías y un mayor aprendizaje.
Cabe preguntarse y volverse a preguntar:
¿Para qué seguir haciendo estudios y evaluaciones que reiteran periódicamente lo que ya
sabemos (salvo la novedad de la lectura digital)? Y, sobre todo, ¿para qué hacerlo? Si —como
es usualmente el caso— las conclusiones y las recomendaciones que se derivan de dichos
estudios y evaluaciones quedan en letra muerta, se ignoran o se interpretan parcialmente y
hasta se aplican al revés (claramente, el caso de España), retocando la inercia y quedando
como la principal preocupación de los gobiernos subir a como dé lugar puntajes y rankings en la
próxima prueba, asumiendo que allí se juega todo y que en eso consiste “mejorar la calidad de
la educación”?
La tan mentada necesidad de políticas “basadas en evidencia” no es llevada a la práctica, y no
por falta de evidencia, sino por sobra de los mismos problemas estructurales. Es decir, la
desestimación del valor de la información y el conocimiento para la toma de decisiones, así
como la gestión a todos los niveles, además del divorcio entre investigación-evaluación y diseño
de políticas, la falta de voluntad político-técnica y de una responsabilidad social de quienes
toman tales decisiones; las debilidades de una academia y de un periodismo investigativo y
crítico capaz de comprender y acercar a la ciudadanía los resultados de estudios y
evaluaciones fundamentadas, finalmente, el desinterés de una ciudadanía que sigue asumiendo
“las políticas” como reino de expertos y de cúpulas, y que no activa su derecho para informarse
adecuadamente y para exigir otra clase de políticos, políticas, académicos y medios de
información.
Nota 1
A las mismas o similares conclusiones llega el estudio de The Economist (The Learning Curve:
Lessons in Country Performance in Education) divulgado en noviembre de 2012 y el cual
compara los resultados escolares de 40 países del mundo. En este análisis comparativo (que
toma en cuenta los resultados de PISA y otras pruebas internacionales como TIMSS y PIRLS,
además de la tasa de alfabetismo y la de graduación de la educación secundaria entre 2006 y
2010), prácticamente no hay novedades: Finlandia aparece ubicada en primer lugar, seguida de
Corea del Sur y Hong Kong, mientras los cinco países latinoamericanos incluidos en el análisis
(Brasil, México, Colombia, Argentina, Chile) se ubican a la cola.
Nota 2
Cabe agregar que existen varios cuestionamientos a las pruebas PISA, a su idoneidad técnica,
a su rigor conceptual y a su valor como herramienta comparativa entre países (Ver: Is PISA
fundamentally flawed?, agosto 2013).
[Link]
