MSTER EN METODOLOGA DE LA INVESTIGACIN EN CIENCIAS SOCIALES EVALUACIN DE PROGRAMAS Y POLTICAS PBLICAS Ao acadmico: 2010/2011 Dossier 2.
LOS RECURSOS EN LA RED; GUAS DE EVALUACIN. Profesora: Laura Romn Alumna: Luca Braa Lpez Informe PISA Qu es, en lneas generales, el informe PISA? Consiste en una evaluacin prospectiva, ex post, longitudinal,con orientacin normativa, dirigida a analizar la capacidad de los jvenes para emplear sus conocimientos y competencias al enfrentarse a los retos que presenta la vida real y obtener informacin sobre los resultados educativos en distintos pases, en concreto, traducidos a indicadores de conocimiento y aptitudes. No pone a prueba el dominio de los planes de estudios ni la eficiencia interna de los sistemas escolares sino cmo preparan las escuelas a los alumnos para la vida despus de haber completado su educacin formal. PISA permite conocer los factores asociados con el xito educativo, presentando ideas sobre las caractersticas de las escuelas y cmo se asocian estas caractersticas con los niveles de rendimiento estudiantil. Ofrece a los diseadores de polticas las fortalezas y debilidades de sus propios sistemas. Estos informes prestan atencin particular a la equidad dentro de los pases: a las diferencias entre gneros en el desempeo estudiantil, a las actitudes y a la motivacin; a las necesidades de los estudiantes ms vulnerables y a las de aquellos cuyo desempeo es excepcional; al papel del compromiso y a la motivacin como requisitos previos para un desempeo adecuado; a la naturaleza, al desarrollo y al impacto de las aptitudes y a los aspectos relativos a las estrategias de aprendizaje. En qu medida es til y pertinente medir las aptitudes hacia la lectura, las ciencias y las matemticas? Segn IALS 1, las personas co mayores niveles de aptitud para la lectura tienes mayor probabilidad de encontrar empleo y recibir mayores salarios promedio que quienes tienen menores niveles, adems de o que se puede predecir a partir nicamente de su calificacin educativa.
Adult Literacy Survey. OCDE y Satistics Canada, 2000.
En qu se diferencia PISA en los aos? PISA continuar aplicndose en ciclos de tres aos. En el ao 2000 se centr en la aptitud hacia la lectura, en el 2003 se concentr en las matemticas y en el 2006 en las ciencias. Son comparables pases?2 los resultados obtenidos en distintos
PISA representa un esfuerzo para alcanzar niveles de resultados comparables entre pases, culturas e idiomas. Los instrumentos de evaluacin fueron elaborados en ingls o francs, despus traducidos a los idiomas de los pases participantes mediante el empleo de procedimientos que garantizaran la integridad lingstica y la equivalencia de los instrumentos. Especialistas de cada asignatura y expertos en el campo de las evaluaciones en cada pas elaboraron los reactivos de evaluacin. Los reactivos se probaron en una evaluacin piloto, los resultados se analizaron y el conjunto revisado de reactivos se valid posteriormente en una prueba de campo. Con el propsito que los reactivos tuvieran validez en todas las naciones, idiomas y culturas fueron calificados por los pases partcipes en trminos de validez cultural, su relevancia en trminos de los planes de estudios y en funcin del nivel de dificultad apropiado. Cul es su poblacin objetivo? PISA evala a los estudiantes entre 15 aos y 3 meses (cumplidos) y 16 aos y 2 meses (cumplidos), empleando una definicin que no est vinculada con las estructuras institucionales de los sistemas nacionales de educacin. No es relevante ni los aos escolares ni el tipo de institucin en el que estaban inscritos, ni si lo estaban a tiempo parcial o completo, lo relevante es que s se encuentren inscritos en algn centro escolar. Los jvenes de 15 aos inscritos en niveles educativos muy inferiores fueron excluidos de PISA pero, entre los pases que participaron en PISA el nmero de dichos estudiantes slo es significativo en Brasil. Algunos centros escolares (que no superan el 2% en la mayora de los casos) fueron excludos debido a su lejana geogrfica. An as, su cobertura es tan amplia que facilita la comparacin de los resultados. Cul es el tamao real de la muestra?, Es representativa?
En Qu no nos ofrece PISA? Se adjunta una interpretacin de los datos del informe al respecto.
En el ao 2000, se evaluaron 250.000 estudiantes, que representaron cerca de 17 millones de jvenes de 15 aos inscritos en las escuelas de los 32 pases participantes. En el 2003 aument la muestra (seala que supera la cifra de 250.000) en representacin de los cerca de 23 millones de jvenes de los 41 pases participantes. En 2006 selecciona alrededor de 400.000 estudiantes para representar a los 56 pases participantes en el estudio, muestra representativa de una tercera parte de la poblacin. Su intervalo de confianza es de 95 por 100. Qu tipo de informacin recoge PISA? PISA nos ofrece un perfil de conocimientos y aptitudes de las personas de 15 aos en lectura, ciencias y matemticas cada tres aos. Adems, se recogen mediciones de indicadores contextuales que relacionan el rendimiento con determinadas caractersticas del alumno vinculadas a sus hbitos de estudio, percepcin del ambiente de aprendizaje y motivacin, el entorno econmico social de la familia, del centro y del sistema de educacin. Esta informacin se convierte en una herramienta til para analizar e investigar las polticas educativas. Se elaboran indicadores de tendencia que permiten interpretar los cambios en el tiempo facilitando la comparabilidad entre los datos recogidos en distintos momentos en el tiempo. Qu tipos de reactivos se emplean en PISA? PISA emple evaluaciones escritas para cada estudiante con dos horas de duracin. Utiliz reactivos de opcin mltiple y preguntas que requeran que los estudiantes elaboraran sus propias respuestas. Las pruebas se organizaron en unidades basadas en un pasaje escrito o grfico parecido al que los estudiantes se pueden encontrar en su vida real. Las diferentes combinaciones de reactivos se agruparon en nueve diferentes cuadernillos de evaluacin. Cada reactivo apareci en varios cuadernillos, con lo que se garantiz que cada uno de ellos fuera respondido por una muestra representativa de estudiantes. Cada estudiante recibi un cuadernillo, con una cantidad variable de reactivos, desde 55 a 67, dependiendo de la carga de lectura. El conjunto de pruebas inclua aproximadamente siete horas de reactivos, respondiendo los estudiantes a distintas combinaciones de stos de dos horas de duracin. Despus, se pasaron unos cuardenillos con una duracin media de respuesta de 30 minutos dedicados a responder un cuestionario de apoyo enfocado hacia el entorno del evaluado, sus hbitos de estudio y su percepcin del ambiente de aprendizaje, de su compromiso y motivacin. Los directores de los colegios tambin respondieron a un cuestionario que inclua preguntas sobre las caractersticas sociodemogrficas del centro, al mismo tiempo que evaluaba el ambiente de aprendizaje en el centro.
Cmo se mide en PISA? La aptitud se mide conforme a un patrn continuo. No existe una divisin precisa entre la persona que es apta y la que no lo es. No se puede esperar que los jvenes de 15 hayan aprendido todo lo que necesitarn saber cuando sean adultos, pero s necesitan comprender procesos y principios elementales. Los reactivos tienen grados de dificultad mayores o menores (5 niveles de dificultad) para cada una de las tres escalas de aptitud. Se espera que todos los estudiantes en un nivel dado respondan correctamente a por lo menos la mitad de los reactivos de dicho nivel. Los estudiantes calificados con menos de 335 puntos, es decir, los que no alcanzan el nivel 1 no son capaces de mostrar rutinariamente las destrezas ms bsicas que busca mediar PISA, que indica serias deficiencias en la capacidad de los estudiantes para emplear la aptitud para la lectura como herramienta en la adquisicin de conocimientos y destrezas. Quienes son los responsables de PISA? Sobre la naturaleza y objetivos de la evaluacin
Las decisiones sobre el alcance y la naturaleza de las evaluaciones y la informacin de apoyo que se deba recolectar fueron tomadas por lderes expertos de los pases participantes, orientados por sus gobiernos sobre la base de intereses compartidos y guiados por la necesidad de los gobiernos de obtener informacin sobre el desempeo y resultados de sus sistemas educativos. Sobre el diseo y la aplicacin
El diseo y aplicacin de PISA 2000, dentro del marco establecido por el Consejo de Pases Participantes, fue responsabilidad de un consorcio internacional guiado por el Consejo Australiano de Investigacin Educativa (Australian Council for Educational Research, ACER). Asimismo, participaron en el consorcio el Instituto Nacional para la Medicin de la Educacin (CITO) de los Pases Bajos y el Servicio de Evaluacin de la Educacin (Education Testing Service, ETS) de Estados Unidos y el Instituto Nacional para la Investigacin de Polticas Educativas (NIER) de Japn. Los pases participantes aplicaron PISA a nivel nacional a travs de sus Directores Nacionales de Proyecto, sujetos a procedimientos tcnicos y administrativos comunes. Financiacin
PISA es financiado de forma conjunta por todos los pases participantes. Cul es el contenido de las pruebas en lo especfico? PISA abarca tres mbitos de conocimiento: aptitud para la lectura, aptitud para las matemticas y aptitud para las ciencias. Se estudia la capacidad de los jvenes para emplear su conocimiento y aptitudes con el fin de enfrentarse a los retos de la vida real, ms que medir el dominio de un plan de estudios especfico. A lo que se le concede ms importancia es a la comprensin de conceptos y la capacidad de desenvolverse en situaciones distintas. Aptitud para la lectura en Pisa
La aptitud para la lectura depende de la capacidad para decodificar un texto, de la interpretacin de significados de palabras y estructuras gramaticales. Pero la aptitud para la lectura para una participacin eficaz en la sociedad moderna demanda algo ms: capacidad de leer entre lneas y reflexionar sobre los propsitos y el pblico al que se dirige el texto., del reconocimiento de mecanismos empleados para transmitir mensajes e influenciar en el lector, etcDepende adems, de la capacidad de comprender e interpretar diferentes tipos de textos y encontrarles sentido, al relacionarlos con los contextos en los que aparecen. La evaluacin se organiza en tres dimensiones correspondientes a la capacidad para procesar el conocimiento, la comprensin y el contexto de aplicacin. Procesos (competencias personales) Los lectores necesitan comprender la estructura, el gnero y el registro de un texto; deben ser capaces de seguir cadenas de razonamiento, comparar y contrastar informacin en un escrito, hacer inferencias, identificar y comprender la irona, la metfora y el humor, reconocer las maneras en las que los textos estn construdos para persuadir e influenciar, relacionar lo ledo con su propio entorno, experiencia y conocimiento. Los distintos tipos de tareas de lectura pretenden evaluar la comprensin general amplia, la obtencin de informacin especfica, el desarrollo de la interpretacin o la reflexin sobre el contenido o la forma del texto. La dimensin correspondiente al tipo de reactivo de lectura se mide de acuerdo a tres escalas. La escala de obtencin de la informacin muestra la capacidad de los estudiantes para localizar informacin en un texto. La escala de interpretacin de textos ilustra la capacidad para construir significados y hacer inferencias a partir de la informacin escrita. La escala de reflexin y evaluacin informa sobre la capacidad del alumno para relacionar el texto con sus conocimientos, ideas y experiencias.
Caractersticas de los reactivos asociados con la dificultad creciente de cada una de las escalas de aptitud para la lectura: Obtencin de la informacin Nivel 1 Tomar en cuenta un criterio para ubicar uno o ms fragmentos independientes de informacin expresada explcitamente. Nivel 2 Ubicar uno o ms fragmentos de informacin, cada uno de los cuales puede ser requerido para cumplir criterios mltiples. Tratar con informacin prominentemente competitiva. Nivel 3 Ubicar y reconocer fragmentos de informacin, cada uno de los cuales puede requerir cumplir con criterios mltiples. Tratar con informacin competitiva prominente. Nivel 4 Ubicar y posiblemente ordenar secuencialmente o combinar mltiples fragmentos de informacin anidada, cada uno de los cuales puede requerir cumplir con varios criterios en un texto cuyo contexto o forma no son familiares. Inferir qu informacin proporcionada por el texto es relevante para el reactivo. Nivel 5 Ubicar y posiblemente ordenar secuencialmente o combinar mltiples fragmentos de informacin anidada profundamente, alguna de la cual puede encontrarse fuera del cuerpo principal del texto. Inferir qu informacin del texto es relevante para el reactivo. Tratar con informacin competitiva altamente plausible o extensa. Interpretacin de textos Nivel 1 Reconocer el tema central o el propsito de un autor en un texto acerca de un tema familiar, cuando la informacin requerida en el texto es prominente. Nivel 2 Identificar la idea central de un texto, comprender relaciones, formar o aplicar categoras simples o interpretar significados dentro de una parte limitada del texto cuando la informacin no est resaltada y se requieran inferencias de bajo nivel. Nivel 3 Integrar varias partes de un texto con el fin de identificar una idea central, comprender una relacin o interpretar el significado de una palabra o frase. Comparar, contrastar o categorizar tomando varios criterios en cuenta. Tratar informacin competitiva. Nivel 4 Emplear un alto nivel de inferencia basado en el texto para comprender y aplicar categoras en un contexto con el que no se est familiarizado e interpretar el significado de una palabra o una frase. Comparar, contrastar o categorizar tomando varios criterios en cuenta.
Nivel 5 Puede ser interpretar el significado del lenguaje con sutilezas o demostrar una comprensin total y detallada de un texto. Reflexin y evaluacin Nivel 1 Realizar una conexin simple entre la informacin en el texto y el conocimiento comn cotidiano. Nivel 2 Realizar comparaciones o conexiones entre el texto y el conocimiento exterior o explicar una caracterstica del texto recurriendo a la experiencia y actitudes personales. Nivel 3 Realizar conexiones y comparaciones, dar explicaciones o evaluar una caracterstica del texto. Demostrar una comprensin detallada del texto en relacin con conocimientos familiares cotidianos o recurrir a conocimientos menos comunes. Nivel 4 Emplear conocimientos formales o pblicos para establecer hiptesis acerca de un texto o evaluarlo crticamente. Mostrar una comprensin precisa de textos largos y complicados. Nivel 5 Evaluar crticamente o establecer hiptesis, apoyndose en conocimiento especializado. Tratar con conceptos contrarios a las expectativas y apoyarse en un profundo entendimiento de textos largos y complicados. Contexto de aplicacin (propiedades de los materiales utilizados) La aptitud para la lectura incluye la comprensin de los contextos en los que se crean los textos escritos y la capacidad de emplear este entendimiento para interpretar y pensar acerca de los textos. La aptitud para la lectura incluye la capacidad de leer toda una gama de material escolar y extraescolar que puede ser la lectura de uso personal, de uso pblico y para el empleo y la educacin. Conocimiento y comprensin (propiedades de los materiales utilizados) La aptitud para la lectura precisa del conocimiento de palabras, de la capacidad de decodificar un texto escrito y del conocimiento de estructuras gramaticales. Se evala la lectura de distintos tipos de texto: texto continuo clasificado por tipo (como descripcin, narracin, exposicin, argumentacin e instruccin) y textos discontinuos (formatos, peticiones y anuncios, grficas y cuadros). Aptitud en Matemticas
PISA entiende como aptitud para las matemticas la capacidad de identificar y comprender el papel que desempean las matemticas, emitir juicios bien fundamentados, utilizar las matemticas y comprometerse con ellas de manera que puedan satisfacer las
necesidades de la vida del individuo como ciudadano constructivo, comprometido y reflexivo. Procesos Los grupos de competencia definen las habilidades necesarias para las matemticas: Reproduccin (operaciones matemticas sencillas), Conexin (conectar ideas para resolver problemas sencillos) y Reflexin (pensamiento matemtico de mayor amplitud). Conocimiento y comprensin Las reas de contenido matemtico y sus conceptos se agrupan en cuatro grupos: cantidad (1), espacio y forma (2), cambio y relaciones (3) e incertidumbre (4). Situacin Las situaciones varan en funcin de lo cercanas que resulten para el individuo. stos son los tipos de situaciones ordenados por orden de cercana: personales, de ambiente escolar o laboral, de la comunidad local o ms amplia y cientficas. Aptitud en Ciencias
Segn la OCDE, aptitud para las ciencias es la capacidad para utilizar conocimientos cientficos, identificar cuestiones cientficas y extraer conclusiones basndose en las pruebas para ayudarse a comprender y a tomar decisiones sobre el mundo natural y los cambios que ha sufrido debido a la actividad humana. Procesos La capacidad de usar el conocimiento y la comprensin cientfica para adquirir, interpretar y utilizar las pruebas: describir, explicar y predecir fenmenos cientficos; comprender las investigaciones cientficas e interpretar pruebas y conclusiones cientficas. Conocimiento y comprensin reas de conocimientos y conceptos cientficos, tales como: biodiversidad, fuerzas y el movimiento, movimientos fisiolgicos. Situacin El contexto de la ciencia, centrndose en sus usos relacionados con: la vida y la salud, la Tierra y el entorno y la tecnologa. Cmo se interpretan los resultados correspondientes a la aptitud en lectura? Se sealan los porcentajes de alumnado que se encuentra en cada Nivel por pases, subrayando que no son siempre los que tienen
un nmero importante en el nivel mximo los que obtienen un porcentaje ms bajo de estudiantes con desempeo deficiente (por ejemplo, Blgica y Estados Unidos). Por la contra, Corea presenta resultados de desempeo ms iguales entre sus alumnos, alcanzado porcentajes bajos en ambos extremos. El porcentaje de estudiantes situados en cada uno de los niveles vara en cada uno de los aspectos analizados sobre la aptitud en la lectura, mostrando diferencias entre pases que muestran el nfasis que distintos sistemas educativos ponen en desarrollar una evaluacin crtica de los textos, obtener informacin o interpretar. El desempeo medio de los pases Los puntajes promedio pueden resumir de manera til el desempeo de los pases mostrando la existencia o no de una mano de obra cualificada, convirtindose ello en una ventaja/desventaja considerable en trminos econmicos y sociales. Sin embargo, tambin esconden diferencias ms amplias entre muchos grupos distintos de estudiantes al interior de los pases. Los sistemas educativos adems varan en trminos de las expectativas que tienen de sus estudiantes. Las calificaciones escolares son un medio comn para informar a estudiantes y padres sobre el grado al cual los alumnos estn cumpliendo las expectativas de maestros y escuelas. El baremo de calificaciones puede ser comn a todas las escuelas del pas o puede ser establecida por la escuela o porcada maestro para cada grupo. De forma parecida, las tareas que se requieren que lleven con xito los jvenes de 15 aos para obtener determinada cualificacin dependen de las exigencias de la escuela, del grupo o del plan de estudios. En pases como Francia con un desempeo promedio alto en PISA, los maestros no necesariamente aprueban a todos los estudiantes mientras que, en algunos pases con un desempeo promedio bajo en PISA, la mayora de los estudiantes cumplen con las expectativas de sus maestros, como en el caso de Mxico. El desempeo de aptitud para la lectura en Finlandia es mejor que el de cualquier otra nacin de la OCDE, mientras que Brasil y Mxico muestran desempeos significativamente inferiores al de todos los dems pases y de ms de un nivel de dominio por debajo del promedio de la OCDE. Debemos tener en cuenta que los estudiantes de 15 aos de ambos pases estn repartidos en un amplio espectro de los escolares; los que estn inscritos en el grado de los jvenes de 15 aos en los pases de la OCDE (dcimo grado) obtienen puntajes promedio similares a los de la Federacin Rusa o Portugal. La distribucin al interior de los pases Los pases no slo buscan fomentar un alto desempeo sino tambin minimizar las disparidades internas. Una proporcin alta de estudiantes en el extremo bajo de la escala de aptitud para la lectura puede dar lugar a que una gran proporcin de la fuerza laboral y votantes del futuro carezca de las aptitudes necesarias para realizar los juicios informados que debern llevar a cabo. Pero, las diferencias
en el desempeo estudiantil son un reflejo de la distribucin natural de las destrezas y por tanto, difciles de influenciar mediante cambios en las polticas pblicas? Las diferencias no slo son debidas a diferencias en el contexto econmico y social como, por ejemplo, la disparidad en desempeo entre las comunidades francesa y flamenca en Blgica. Estudio de las diferencias entre percentil 25 y 75 Las grandes disparidades en el desempeo no son una condicin necesaria para que una nacin alcance un nivel de desempeo general alto. Las diferencias ms pequeas entre percentil 25 y 75 las tienen Corea, Finlandia y Japn. Diferencia entre percentil 5 y 25 El estudio de las diferencias entre los estudiantes menos capaces que presentan mayores diferencias en los pases con mayores diferencias generales (Alemania, Blgica y Nueva Zelanda). Por el contrario, los estudiantes ms deficientes pueden mostrar un desempeo bajo en pases con un buen desempeo promedio. Por ejemplo, Nueva Zelanda obtiene una mayor proporcin de puntajes bajos que otros pases con un desempeo moderado en lectura. Otros factores relevantes La diferencia de desempeo entre estudiantes que informaron que sus padres son maestros de escuela secundaria o administradores de una pequea empresa de negocios de aquellos cuyos padres son albailes, carpinteros o pintores es de 81 puntos. La diferencia en el desempeo de los estudiantes entre alumnos cuyas madres completaron la educacin de tercer nivel y aquellas que no terminaron el nivel superior de la educacin de segundo nivel es de 67 puntos. La diferencia en el desempeo de los estudiantes entre alumnos que hablan el idioma de la evaluacin la mayor parte del tiempo y aquellos que no lo hacen es igual a 68 puntos. Cmo vara el desempeo estudiantil entre escuelas? Este anlisis demuestra que existen en la mayora de los pases diferencias considerables en el desempeo al interior de cada sistema educativo. Estas diferencias pueden surgir de los entornos socioeconmicos de los estudiantes y las escuelas, de los recursos humanos y financieros de que disponen, de las polticas y prcticas de admisin, de la manera como se organiza y lleva a cabo la enseanza. Algunas naciones tienen sistemas escolares no selectivos que buscan proporcionar a todos los estudiantes las mismas oportunidades de aprendizaje u permitir que cada escuela atienda a toda una gama de desempeos escolares. Otros pases responden explcitamente a las consideraciones de la diversidad mediante la formacin de grupos con niveles de desempeo similares a travs de la seleccin ya sea dentro
o entre las escuelas, con el objetivo de atender a los alumnos de acuerdo con sus necesidades especficas. Ms an, en otros pases, se presentan combinaciones pero an en los sistemas escolares ms incluyentes puede observarse una variacin significativa entre escuelas debido a caractersticas socioeconmicas y culturales a consecuencia de las diferencias geogrficas (tales como diferencias entre regiones, entre zonas rurales y urbanas y dentro de las ciudades) o debidas a otros factores (titularidad de la escuela, tipo de programa educativo que desarrollan, nivel educativo, etc). En trminos generales, los datos indican que en sistemas escolares con tipos de escuelas diferenciadas el agrupamiento de estudiantes con caractersticas socioeconmicas particulares en ciertas escuelas es ms marcado que en los sistemas donde el plan de estudios no vara significativamente entre una institucin y otra. Esto puede ser resultado de la seleccin o autoseleccin: cuando el mercado de escuelas proporciona cierto nivel de diferenciacin, los estudiantes de entornos menos aventajados pueden tender, o elegir ellos mismos, ser canalizados hacia programas de estudios menos demandados, o pueden optar por no participar en los procedimientos de seleccin aplicados por el sistema educativo. El anlisis tambin sugiere que el entorno social general de las admisiones de una escuela sobre el desempeo de los alumnos tiende a ser mayor que el impacto del entorno social particular de cada estudiante. Los estudiantes que provienen de entornos socioeconmicos menos aventajados que asisten a escuelas donde el entorno socioeconmico es alto, tienden a mostrar un desempeo mucho mejor que cuando estn inscritos en colegios que admiten alumnos de entornos socioeconmicos por debajo del nivel promedio (lo contrario tambin se cumple para los estudiantes ms aventajados en escuelas de menor nivel).
Qu es lo que no nos ofrece PISA? No nos ofrece los debates, los procesos de negociacin y los conflictos surgidos durante la seleccin de los reactivos, las adaptaciones culturales de las que nos habla, etc. Cmo se distribuyen los votos entre pases participantes?, Qu porcentaje de apoyo es suficiente para validar un reactivo? Presenta una dificultad de comparacin de los planes de estudio de los pases participantes con las aptitudes que se demandan en las distintas materias (lectura, matemticas y ciencias). Se cita la participacin de expertos vinculados a grupos de investigacin en las distintas fases de la evaluacin pero desconocemos el peso de este grupo en el diseo y la toma final de decisiones. Qu implicaciones posteriores en las polticas pblicas tienen estos informes?, Algn centro escolar de algn pas participante las ha debatido en su consejo escolar? Hasta qu punto son vlidas las comparaciones de los resultados obtenidos por pases? Si los planes de estudio de cada pas demandan el desarrollo de determinadas aptitudes medidas en PISA en distintos niveles educativos, es plausible comparar los resultados?
