Fiabilidad y Validez del Informe PISA

Si en algo me han insistido a lo largo de mi carrera es en saber analizar los datos desde una perspectiva estadística. Y haré honor a dicho aprendizaje en el título de este artículo, extrapolando los conceptos a otro tipo de análisis:

Fiabilidad: probabilidad de que una cosa funcione bien o sea segura.

Validez: firmeza, exactitud o legalidad.

El pasado día 6 se publicó una nuevo ranking del sonado informe del Programa para la Evaluación Internacional de Alumnos, respaldado por la Organización para la Cooperación y el Desarrollo Económicos (OCDE). Desde entonces, he estado leyendo y analizando una controversia de opiniones formadas entorno al tema.

Aquí, mis conclusiones:

1) El informe PISA no consigue medir las competencias de los chichos y chicas de 15 años ni, mucho menos, la eficacia de los sistemas de enseñanza ni de las reformas educativas

Se centra en formular cuestiones lógicas de lectura, matemáticas y ciencias, enfocadas a valorar competencias que tengan rentabilidad y potencien el sistema económico, que se adapten a la situación en la que vivimos. Lo cual solo busca garantizar que la rueda siga girando «como debe hacerlo», no que evolucionemos como sociedad. Sin embargo, EEUU o Suecia han aumentado su PIB sin haber mejorado sustancialmente sus resultados en el primer caso, y habiéndolos empeorado en el segundo. Interesante…

Dicho examen además, intenta plasmar cómo los alumnos usan conocimientos adquiridos en distintos contextos… Si en la propia escuela se continúa haciendo hincapié en un procesamiento mecánico, si la prueba solo mide áreas en términos de correcto/incorrecto o exacto/inexacto (por mucho que se repartan en una escala de 6 niveles), ¿qué margen de innovación tiene el alumno? ¿»Ciudadano consciente y reflexivo» o «que sabe discriminar entre información relevante e irrelevante» no sería en este caso sinónimo de conformista?

«Ni las pruebas PISA miden adecuadamente los logros educativos, ni el PIB es un indicador fiable del bienestar de una sociedad. Y aunque no puede negarse el papel que desempeña la educación en el desarrollo económico, si se construye un sistema educativo basándose exclusivamente en estos referentes, el resultado será tan insostenible como el modelo que lo ha generado.» – Enrique Sánchez Ludeña

Destacar un fragmento de otro artículo que me llamó la atención:

«Para acabar, déjeme responder a un par de críticas mal guiadas. La primera es que PISA solamente mide habilidades cognitivas. Pues resulta está tan bien diseñado que nos permite medir algunas no cognitivas. Como cada estudiante es obligado a enfrentarse a las preguntas en un orden distinto al azar, la variación a lo largo del examen no puede deberse a que la dificultad de las mismas siga un orden determinado. Y generalmente los estudiantes lo hacen mejor al principio que al final. Pero, crucialmente, no todo el mundo tiene el mismo decaimiento en el resultado. Y ese decaimiento es una medida muy buena de la capacidad de persistencia del estudiante.

Y, finalmente, la crítica menos inteligente de todas. ¡Es que los exámenes estándar fomentan que la gente haga trampas, eliminémoslos! Siguiendo esa línea lógica, la declaración de la renta fomenta que la gente defraude, eliminemos los impuestos.»

Considero que pese a ser catedrático se puede tener un gran incultura sobre lo que son o no son habilidades no cognitivas, sobre que el orden de las preguntas siempre tiene algún objetivo (por lo que no es al azar), que si una prueba dura 2 horas efectivamente es muy probable que se haga mejor al principio, sobre que la diferencia de resultados no puede ser achacable así a la ligera a un único factor como la capacidad de persistencia… Sobre que no es en absoluto comparable la declaración de la renta, algo cuantitativo, a una clasificación de tinte tradicional, errónea y dañina en el ámbito educativo.

No digo que no sea necesario evaluar, porque lo es y lo requerimos por nuestra naturaleza humana (¡no se confunda con las reválidas!). Evaluar es fundamental, pero la crítica viene derivada de qué se mide, de cómo se mide y en muchos casos, de a quiénes se mide.

2) El informe PISA no refleja la realidad de los países ni es inclusivo

«El propio informe repara en la dificultad para comparar entre países y hasta entre escuelas, un reto que “plantea numerosos desafíos” dentro de una misma aula. Influyen de forma significativa variables como el nivel educativo de los padres o la tasa de repetidores (este examen lo hacen alumnos de 15 años independientemente del curso en el que estén)» – Pilar Alvarez

 

Son muchas las variables que determinan estos resultados, y que no reciben su adecuada consideración.

Son pocos los alumnos con necesidades específicas de apoyo educativo que pasan esta prueba por no estar adaptada, tan capaces y valiosos como cualquier otro.

Tal y como introducíamos ya en el punto anterior, no hay cabida para competencias que transforman la realidad, para habilidades como la capacidad crítica o la inteligencia emocional. Para la empatía o el trabajo en equipo. O incluso para el arte o la música, que pese a no ser troncales influyen y mucho en los resultados de las consideradas como «importantes».

3) El informe PISA no es absolutamente inutil, pero tampoco se entiende ni interpreta como es debido

Andreas Schleicher, director de Educación de la OCDE y principal responsable del informe PISA, hizo estas declaraciones al periodico El País:

«PISA es solo una reflexión de parte de lo que es importante. Pero se puede ver desde el lado opuesto. El currículo español, por ejemplo, pone demasiado el acento en la reproducción de contenidos. Si solo se midiera la memorización, España lo haría mejor en PISA. Esta evaluación puede ayudarla a salir de ese currículo de contenidos memorizados y dar más énfasis al contenido creativo«

«La calidad de la educación nunca será mejor que la calidad de los profesores”, la clave está en “empoderar a los profesores para que lideren esta transformación, pero eso solo puede ocurrir si saben lo que se espera de ellos y reciben el apoyo necesario para enseñar con eficacia»

«Pero es una de las cuestiones que hay que pensar de forma más creativa: cómo emplear mejor a los profesores, cómo darles un entorno más adecuado para que enseñen mejor. Los países con mejores resultados invierten en el profesor, no en tener clases más pequeñas»

Y estoy de acuerdo.

Si nos ponemos a analizar estadísticas, siempre encontraremos datos a favor y en contra. Pero utilicemos el sentido común y nuestra experiencia:

• Dejemos de pedir que los alumnos se adapten a los profesores, a la metodología, al sistema. Seamos nosotros quienes nos adaptemos a sus características y necesidades.
• Destinemos recursos a formación e investigación, no a contribuir en lo que ya se está haciendo. Apoyemos al profesorado y demos recursos equitativa e inteligentemente.
• Detectemos las dificultades desde la infancia, acompañando a cada alumno desde el principio hasta el final, y ayudémosle en todo aquello que precise.
• Dotemos a las escuelas de mecanismos que favorezcan la flexibilidad en el ritmo de aprendizaje de cada alumno.
• Trabajemos de forma cooperativa, no solo colaborativa. Coordinemos esfuerzos tanto verticales como horizontales.

Por tanto, no le demos más relevancia de la que tiene. No compitamos por un resultado que ni es fiable ni es válido, ni nos sintamos orgullosos de hacer fotocopias. Dejemos de entrenar a nuestros estudiantes únicamente para pasar exámenes y hagamos real la transición hacia un enfoque multicompetencial, descubriendo de forma conjunta todo lo que tienen que aportar en un entorno que invite a la libertad.

¡Nos leemos!

Carla Serrano