¿Qué es? Es una prueba, un examen, que intenta medir, no si los alumnos se saben los contenidos de las asignaturas o las áreas de estudio, sino lo que los alumnos saben hacer con lo que han aprendido. Hay tres pruebas con resultados independientes: la competencia lectora, la matemática y la científica. Cada año, PISA se centra en una de ellas, que acaparan la mayoría de las preguntas, y las otras se quedan con una pequeña parte. En 2000, se centró en lectura; en 2003, en matemáticas; y en 2006, en ciencias. La última, la de 2009, se vuelve a centrar en lectura. En esta ocasión se ha añadido un cuarto examen que mide la comprensión lectora en soporte digital.

¿Quién lo hace? La OCDE, en colaboración con los países participantes, lleva a cabo la prueba a la que se somete una muestra representativa de los alumnos de 15 años de cada país (en la última prueba han sido 65). Da igual que hayan repetido o no. Por ejemplo, en España un tercio de los alumnos que la han hecho están en 2º o 3º de ESO, en vez de 4º, el curso que les correspondería por edad. La muestra debe ser representativa en función del reparto de alumnos entre escuela pública y privada, la presencia de inmigrantes etcétera. En cada país hacen la prueba entre 4.500 y 10.000 estudiantes. Si alguna región o comunidad de un país quiere tener datos propios, independientes de los generales de su Estado, debe ampliar la muestra de estudiantes que hacen el examen. En España, año a año se han ido sumando comunidades y han participado en 2009 cerca de 25.000 alumnos, de tal manera que en el informe que está a punto de presentarse solo hay tres autonomías que no tendrán datos propios: Extremadura, Castilla-La Mancha y Comunidad Valenciana. Cada país o comunidad debe sufragar el coste de las pruebas.

¿Cómo se mide? Las preguntas a las que se enfrentan los alumnos no son las clásicas de un examen en un instituto, precisamente porque intentan ver cómo se maneja la información más que cuánta información se tiene. Veamos algunos ejemplos de años anteriores. Se entrega a los chavales la factura de compra de una cámara de fotos y un trípode. Con la información de la factura, los alumnos deben rellanar la garantía, decir cuanto tiempo tiene el cliente para enviarla o explicar por qué al final de la factura pone: «gracias por su compra». También se pueden encontrar tablas de horarios semanales de distintas bibliotecas, un folleto sobre la recolección del néctar, una carta al director de un periódico o un cuento tradicional. A partir de esa información, los estudiantes deberán decir qué biblioteca está abierta cierto día de la semana a cierta hora, qué reacción busca provocar la carta al director o explicar la principal diferencia entre el néctar y la miel (aunque su respuesta no aparezca literalmente en el texto sino que hay que inferirlo de la lectura de algunas frases). Se pueden consultar preguntas liberadas de ediciones anteriores de la prueba en la Web del Instituto de Evaluación.

Cada una de las preguntas se someten a pruebas de fiabilidad (es decir, si una pregunta que se considera fácil es respondida mal sistemáticamente por alumnos con buenos resultados en general, es que algo falla) y hay algunas preguntas «ancla», similares en cada examen, que permiten comparar de forma fiable con pruebas anteriores.

Las dificultades de cada pregunta son importantes porque el objetivo es colocar a cada alumno dentro de un nivel de competencia.

¿Qué son los niveles de competencia? Tomemos el ejemplo de la competencia lectora. En ella, se dividen las destrezas en tres ámbitos: obtención de información, interpretación de textos, y reflexión y valoración. Si nos centramos en esta última, los tienen el nivel 1 de lectura saben «realizar una conexión simple entre la información de un texto y el conocimiento habitual y cotidiano». Los de nivel 2 saben, además, «hacer una comparación o conectar el texto y el conocimiento externo, o explicar una característica del texto haciendo uso de experiencias y actitudes personales». Así, la complejidad se va haciendo mayor hasta el nivel 5, para los alumnos que además saben «valorar de manera crítica o formular hipótesis haciendo uso de conocimientos especializados. Manejar conceptos contrarios a las expectativas y hacer uso de una comprensión profunda de textos largos o complicados». De igual manera se dividen el resto de destrezas, la matemática, la científica y, a partir de ahora, la digital.

¿Cómo se leen los resultados? El catedrático de Sociología Julio Carabaña explicaba hace tres años de la siguiente manera la puntuación de PISA: «La puntuación media de los países de la OCDE en PISA se establece por definición en 500, y la desviación típica en 100. Con esa métrica, diferencias de 10 y hasta 20 puntos son diferencias pequeñas». La puntuación media más alta de un país en ciencias fue de 563 (Finlandia), y la más baja, 322 (Kirguizistán). España obtuvo 488. Estados Unidos, 489, y Francia, 495.