Más que saber, pensar: ¿Qué hacer con resultados de Saber Pro?: Mauricio Sánchez – Feb/19

Por: Mauricio Sánchez Puerta, analista División de Planes y Proyectos de la Universidad de Antioquia

Los resultados de las pruebas Saber Pro permiten convocar al compromiso de todos y cada uno de los involucrados en el proceso, ello en tanto las dinámicas actuales de aseguramiento de la calidad y uso de datos abiertos, conllevan la responsabilidad de participar en la mejora de la gestión de los programas.

Este documento comparte tres ideas básicas para aprovechar los resultados y esboza algunos argumentos sobre el tema de su uso.

Las pruebas Saber son estandarizadas; por tanto, los resultados son comparables en el tiempo -específicamente de 2016 en adelante-[1] y entre individuos y agregaciones (cualesquiera que sean: programas, áreas de conocimiento, unidades académicas e instituciones).

Las condiciones estadísticas de la prueba ajustan los puntajes a una distribución de probabilidad normal que se caracteriza por una media o puntaje promedio de 150 y una desviación de 30 puntos, tanto para el puntaje global como para cada uno de los componentes de las pruebas genéricas; además, desde 2016 se estipuló que el puntaje máximo es 300 y el mínimo 0.

Los estudiantes de todos los programas son evaluados con las mismas preguntas en cinco competencias genéricas: (i) razonamiento cuantitativo, (ii) lectura crítica, (iii) comunicación escrita, (iv) inglés y (v) competencias ciudadanas. Por tanto, es posible comparar el desempeño en esas competencias. 

De acuerdo con el texto del Ministerio de Educación Nacional (MEN, 2018) que soporta al Decreto 1280 de 2018, el desempeño en la prueba es un indicador del logro del estudiante o un producto de la educación superior, como figura en el Gráfico 1

Gráfico 1. Diagrama del proceso de evaluación de programas de educación superior
Esta señal ha de considerarse como parte de la gestión de la calidad de la oferta educativa tanto de un programa como de una institución.

El ICFES dispone en la red los datos de resultados:

(i) un informe en formato pdf por institución, sede o programa en http://www2.icfesinteractivo.gov.co/resultados-saber2016-web/pages/publicacionResultados/agregados/saberPro/consultaAgregadosIES.jsf#No-back-button

(ii) los datos crudos o planos de los resultados en pruebas genéricas, disponibles, luego de registro del usuario, en: http://www2.icfes.gov.co/item/1861-investigador-el-icfes-actualizo-ftp-para-facilitar-acceso-a-sus-bases-de-datos

(iii) las llaves para hacer el cruce en la carpeta denominada “Cruces”, disponible en el ftp.

 Al conocer el desempeño en competencias genéricas la institución y los programas pueden revisar asuntos claves de interés. Tres asuntos son los más recurrentes en el discurso nacional:

(i) la llegada de un evaluado al podio, que ayuda al programa y de la institución a expresarse como un ambiente de relacionamiento de los aspirantes con personas destacadas en lo académico. El símil es el Ranking Académico de las Universidades del Mundo (ARWU), llamado ranking de Shanghái, que habla del número de alumnos y profesores que han ganado premios Nobel y medallas Fields.

El número de estudiantes destacados en las pruebas Saber Pro de 2017 figura en la Resolución 018735 del 10 de diciembre del 2018, expedida por el Ministerio de Educación Nacional. A la fecha no se cuenta con acto administrativo asociado a los resultados de las pruebas aplicadas en 2018.

(ii) la ubicación de un grupo de evaluados en un escenario relevante, lo que puede hacerse mediante la determinación de una cantidad de evaluados (porcentaje de los evaluados) y unas condiciones para el escenario (un puntaje de corte dado, que puede ser el quintil)[2] que da la idea de un programa y una institución que conforma comunidades. Al respecto, en el Plan Global de Desarrollo de la Universidad Nacional de Colombia “Autonomía responsable y excelencia cómo hábito 2016-2018” se exploran las condiciones de agrupación que consideran relevantes

Gráfico 2 Escenarios para evaluación de los resultados de los estudiantes de la Universidad Nacional en las pruebas Saber Pro (2014)

Las IES establecen con frecuencia en sus planes indicadores simples con un techo, pocas veces configuran un cruce (doble techo) como el presentado por la Universidad Nacional.

Otros actores interesados en el tema hacen contrastes considerando únicamente el puntaje promedio de los programas, con lo que generan algunas ordenaciones de mayor a menor. Lo que no está mal del todo, pero aplica si y solo sí existen igualdades en los demás parámetros de la distribución estadística; esto es, que el número de evaluados y la dispersión en los puntajes del grupo sea igual para cada grupo.

Un ejemplo es el trabajo del profesor de la Universidad Sergio Arboleda Sergio Ángel sobre el desempeño de los politólogos (clic para ver)

(iii) la variación en el desempeño entre pruebas Saber 11 y Saber Pro, que permite conocer el valor que agrega la educación superior a los evaluados.

En fechas recientes, Julián De Zubiría Samper ha llamado la atención sobre el “valor agregado” de la educación superior, asunto formalizado en Muñoz (2016) y que coincide con lo que expresa el ICFES: “Entre los objetivos del examen Saber PRO se encuentra producir indicadores de valor agregado de la educación superior en relación con el nivel de competencia de quienes ingresan a ella…”[3]

Al respecto se puede ver un ejercicio similar de medición de cambio en desempeño realizado por el otrora Economista Líder de la División de Educación del Banco Inter-Americano de Desarrollo (BID), Hugo Ñopo (clic para ver).

Si se piensa en la prueba como en una carrera se tiene que, cualquier persona que sea evaluada puede lograr un puntaje alto o una buena posición a la llegada. Ahora, las instituciones de educación públicas suelen tener estudiantes que inician la carrera en un punto de partida desventajoso frente a los de instituciones privadas renombradas y; sin embargo, sus evaluados alcanzan resultados comparables.

Las IES deberían comprometerse con el avance de sus evaluados en Saber Pro, medido por el incremento en el desempeño alcanzado en niveles precedentes (Saber 11).

Finalmente, en cualquier caso, dadas las propiedades estadísticas de la prueba, más allá de la evaluación en un periodo, se requiere un contraste permanente en el tiempo. Por tanto, una señal de mejora año tras año implica: (i) incrementar el puntaje promedio del grupo y (ii) disminuir la desviación asociada. En otras palabras, se trata de ubicar a la mayoría de los evaluados en una posición destacada sin dejar muy lejos a los de menor puntaje (esto es igual a decir con la menor dispersión posible en los puntajes).

Bibliografía

[1] http://www2.icfes.gov.co/docman/investigadores-y-estudiantes-de-posgrado/acceso-a-bases-de-datos/documentacion-y-diccionarios-saber-pro/5515-documentacion-saber-pro/file?force-download=1

[2] El quintil 5 se refiere al total de estudiantes que se ubica en una prueba dentro del 20 % de los mejores resultados obtenidos en cada uno de los grupos de referencia, y el quintil 1 se refiere al total de estudiantes que se ubican dentro del 20 % de los puntajes más bajos obtenidos en las competencias de interés.

[3] http://www2.icfes.gov.co/docman/investigadores-y-estudiantes-de-posgrado/acceso-a-bases-de-datos/documentacion-y-diccionarios-saber-pro/5515-documentacion-saber-pro/file?force-download=1