Cuestionan las últimas pruebas PISA porque se tomaron por computadora

Una investigación del Instituto de Educación del University College London pone en duda los resultados por un cambio en el modo de aplicación de la prueba. En 58 países, la evaluación fue digital, mientras que en otros 14 países los alumnos la resolvieron en papel. Esa diferencia habría tenido repercusión en los desempeños.

Crédito: Adikos / Flickr

En la Argentina, la última edición de las pruebas internacionales PISA (2015) estuvo rodeada de polémica porque las respuestas de los alumnos locales fueron descartadas por la Organización para la Cooperación y el Desarrollo Económicos (OCDE), el organismo que toma la prueba (al que el país pretende incorporarse). “La muestra de la Argentina no cubría la población objetivo, debido a la potencial omisión de escuelas del marco muestral”, justificaba el informe de la OCDE. Ahora, una nueva polémica pone en duda la precisión de las evaluaciones tomadas en 2015, en las que participaron 72 países y regiones del mundo.

Una investigación del profesor John Jerrim, del Instituto de Educación del University College London (UCL), cuestionó los resultados de PISA 2015 por un cambio en el modo de aplicación de la prueba: en 58 países, la evaluación se tomó por medio de computadoras, mientras que en otros 14 países los alumnos la resolvieron en papel, como se venía haciendo desde la primera edición, en el año 2000. Según el estudio de Jerrim, ese cambio de metodología puede haber tenido un impacto negativo en los resultados.

En 58 países, la evaluación se tomó por medio de computadoras, mientras que en otros 14 países los alumnos la resolvieron en papel, como se venía haciendo desde el año 2000.

A partir de los datos de tres países que participaron de la prueba, Jerrim estimó que el pasaje del papel a computadora puede haber producido una caída en el desempeño de los estudiantes, equivalente a alrededor de 6 meses de escolaridad. Si bien desde la OCDE habían explicado que realizaron un “ajuste” para que las pruebas fueran comparables pese al cambio de soporte, Jerrim cuestiona la metodología de ese ajuste y advierte que los resultados de PISA 2015 no serían comparables con los de PISA 2012.

El estudio de Jerrim se basó en los datos de 3000 alumnos de 15 años, a quienes se les asignó de manera aleatoria una versión de la prueba en papel o en computadora. Al comparar los desempeños entre los dos grupos, Jerrim encontró que los alumnos del segundo tuvieron mayores dificultades para responder las preguntas de manera correcta. Entre las razones que podrían explicar esto, la investigación menciona que la versión digital impide retroceder a preguntas anteriores u omitidas, así como posibles diferencias entre los entornos en que se tomaron las dos versiones de la prueba.

Resolver una prueba en la computadora es muy distinto que hacerlo de la manera habitual, con lápiz y papel. Sin embargo, la OCDE ofreció escasa evidencia del impacto que eso podría haber tenido en los resultados de PISA 2015”, señaló el autor de la investigación, y sugirió que ese cambio podría explicar algunos de los hallazgos más sorprendentes de la prueba (como el avance significativo de Escocia en lectura o la caída de varios países asiáticos en matemática).

El pasaje del papel a la computadora puede haber producido una caída en el desempeño de los estudiantes, equivalente a alrededor de 6 meses de escolaridad, sostiene el estudio de Jerrim.

James Croft, fundador y presidente del Centro para la Economía de la Educación, afirmó que “es vital que haya claridad en torno a la metodología de estas evaluaciones, ya que muchos gobiernos se apoyan claramente en ellas a la hora de definir sus políticas educativas”. Y añadió: “Esperamos que esta investigación contribuya a que los gobiernos reflexionen sobre cuán comparables son los resultados de 2015 con respecto a otros países y con respecto a las evaluaciones anteriores”.

La prueba PISA examina las habilidades de los estudiantes de 15 años en lectura, matemática y ciencias. En la última edición participaron más de medio millón de adolescentes de 72 países, quienes tuvieron que resolver un examen de dos horas. La próxima edición de esta evaluación educativa, la más importante del mundo por su impacto y alcance, se tomará en 2018 y tendrá su foco principal en lectura. Pero además de las disciplinas tradicionales, incluirá un apartado sobre competencias globales, que incluyen por ejemplo el respeto hacia otras culturas y la habilidad para evaluar noticias falsas.

Sé el primero en comentar

Su dirección de correo no será publicada.


*