Análisis ESE: resultados Saber PRO 2021 – 2022 – Ranking mejores universidades Saber PRO – Primera entrega

El ICFES acaba de liberar la primera publicación de resultados institucionales Saber Pro y Saber Pro exterior de las pruebas 2021. Recordemos que los resultados se publican cinco meses luego de ser presentadas las pruebas. Así que estamos hablando de los últimos resultados de las últimas pruebas presentadas en 2021 con resultados entregados en este 2022. La publicación definitiva y más detalla no será publicada hasta el 31 de mayo de 2022. Con esta información que se irá compartiendo vamos a realizar varios análisis.

Análisis ESE: resultados Saber PRO 2021 – 2022 – Ranking mejores universidades Saber PRO – Segunda entrega

Como empresa, no estamos de acuerdo con los rankings en el sentido estricto, es ideal generar un análisis de los resultados con una mirada amplia, con varios puntos de vista. No debemos solo comparar resultados. Debemos evaluar procesos. Cada universidad es un mundo con realidades y necesidades particulares.

Definir cuál es la mejor universidad en términos de resultados de promedio global nacional, es solo una visión restringida del universo de los resultados. Por esto vamos a aportar desde una perspectiva que pueda contrastar diversos puntos de vista.

Análisis resultados Saber PRO 2021  

Para esta última entrega de resultados hay muchas novedades, la primera es que a nivel nacional el puntaje promedio bajó 4 puntos.  

Podemos pensar como hipótesis que los bajos resultados son en parte un “coletazo” de los dos años de pandemia. Esto sumado a las manifestaciones sociales que estallaron en el 2021 en Colombia y que afectaron más fuertemente algunas zonas del país. Lo cierto es que los puntajes son bajos.

En relación a la cantidad de estudiantes que presentaron la prueba, solo hubo un crecimiento de 2.811 estudiantes inscritos para el 2021. Pero en contraste, existe una diferencia notable de 7.837 entre inscritos y con resultados publicados. Lo que significa que por diversas razones una cantidad de estudiantes inscritos, no se presentaron y otros tuvieron diversos problemas con la aplicación, lo que generó que no tuvieran resultados publicados para esta entrega.

La desviación estándar está subiendo, lo que es negativo. Para entenderlo de manera sencilla, la desviación estándar muestra si los estudiantes en términos generales tienen procesos de alcance de competencias similares entre ellos. Lo ideal es que todos los estudiantes tuviesen procesos de aprendizaje que lleguen a los niveles esperados. Niveles 3 y 4. Y en inglés B2 y B+.

Pero en Colombia los resultados son muy heterogéneos, hay estudiantes con excelentes resultados y otros con unos puntajes muy bajos. Básicamente hay estudiantes que sí aprenden y demuestran lo aprendido, versus otros que al parecer terminan la universidad con los niveles mínimos esperados, otros ni siquiera alcanzan los niveles mínimos.

Vamos a ver un ejemplo con Comunicación Escrita.

Para contextualizar: los niveles 1 y 2 de Comunicación Escrita describen características insuficientes o muy básicas frente a esta competencia, tanto así que en un proceso de formación universitario sería inaceptable que un estudiante se gradúe con estos niveles, pero la realidad es que sí se gradúan.

La Comunicación Escrita es una prueba que no evalúa aspectos disciplinares, y que busca por medio de un texto argumentativo evidenciar una postura que sea claramente expresada, con la siguiente exigencia planteada por el ICFES. “La calificación de los escritos tiene en cuenta tres aspectos: la forma de expresión, el planteamiento defendido, y la organización del texto”

Nos podemos preguntar cuál es la exigencia de un texto de niveles 1 ó 2. Niveles donde se ubican el 59% de los estudiantes del país. Para ser más exactos, se entregaron resultados a 247.307 estudiantes y al menos unos 145.911 estudiantes están por debajo de los mínimos esperados.  En contraste, de cada 10 profesionales, 6 no logran un nivel adecuado.

Ejemplo tomado del ICFES

Acá resaltamos que el 18% de los estudiante en Colombia no llegan siquiera a un escrito como el de la imagen ejemplo y un 41% escribe con este nivel, algo insuficiente para un profesional.

Se puede argumentar que los estudiantes presentan la prueba sin motivación. Pero ya lo hemos contrastado en talleres realizados, en pruebas simulacros presentadas, en la opinión de los docentes y en las empresas. Los niveles de comunicación escrita en Colombia dejan mucho que desear.

¿Cómo quedó el ranking de universidades Saber PRO 2021?

Del top 10 de las universidades del año 2020 no hubo grandes cambios. Se mantienen las mismas universidades para este 2021. Y es de resaltar que  solamente la Universidad de la Sabana mejoró dos puntos porcentuales. El resto de universidades sin excepción bajaron. Para efectos prácticos recordemos que la Prueba Saber PRO se califica de 0 a 300. Con una desviación estándar de 30 puntos. Y una media teórica de 150 puntos.

¿Cuáles son las mejores universidades según los resultados globales Saber PRO?

Para este ranking, tomamos el promedio global en competencias genéricas, para el caso de las universidades con sedes su promedio global, y no tuvimos en cuenta ni cantidad de programas, ni de estudiantes. Estas categorías las vamos a desagregar más adelante.

En esta gráfica agregamos el “delta”, entendido como el cambio general de un valor en los resultados. Ese cambio fue con una tendencia a la baja en 11 de las 12 universidades tomadas como referencia. 

Si lo pensamos en este escenario, que una universidad se mantenga o mejore dos puntos frente a una tendencia a la baja, implica una mejora más significativa aún, es como nadar contra corriente.

Vamos a revisar desde otras perspectivas los resultados. Incluyamos la desviación estándar y la cantidad de estudiantes con resultados publicados por universidad.

Las mejores universidades desde otras perspectivas.

El ideal de una desviación estándar es que llegue a cero, para este caso en función de la medición de competencias cognitivas sería casi imposible llegar a cero, así que un punto de referencia en contexto es tomar como positiva una desviación por debajo de los 20 puntos.

En ese caso el CESA, Escuela Colombiana de Ingenieros, EIA y Universidad de la Sabana obtienen excelentes resultados, por debajo de 20 puntos. De estas 4 universidades la Universidad de la Sabana sobrepasa la población evaluada. Recalcamos esto, ya que obtener resultados homogéneos es más complejo en una población más numerosa.

Es esta desviación estándar a la baja la que ayuda de forma notable a mejorar los resultados. Pero no agotemos la discusión en los resultados Saber PRO positivos, mantengamos en mente, retomando el ejemplo anterior de Comunicación Escrita, que hay grupos de universidades que están eliminando drásticamente la cifra, y por tanto el porcentaje, de estudiantes en niveles 1. 

Tomemos a las 5 primeras universidades con mejores resultados globales y su porcentaje de estudiantes en nivel 1 en Comunicación Escrita. Además incluimos una de las escuelas que mayor mejora en términos porcentuales obtuvo, la Escuela Militar de Cadetes General José María Córdoba, pasando de 141 en el 2020 puntos a 148 en el 2021. Una mejora envidiable de 7 puntos porcentuales. Como lo hemos sostenido, no se trata solo de ser la “mejor” se trata de comprarse consigo misma y poder mejorar año a año.

Porcentaje de estudiantes en nivel 1 Comunicación Escrita, 2020 vs 2021

En la gráfica resaltamos 2% logrado por el CESA y la Universidad de la Sabana.

Además el 6% logrado por la ESMIC (Escuela José María Cordoba).

Con estas tres universidades venimos trabajando en nuestros procesos de medición, formación y consultoría. Conocemos el gran esfuerzo que vienen haciendo para mejorar los resultados. La clave está en mejorar el alcance de las competencias que se verán reflejadas en la migración de resultados de niveles inferiores a niveles superiores. ¿Cómo lograrlo? Te invitamos a revisar las conclusiones. 

Conclusiones iniciales resultados Saber PRO 2021.

Luego de esta primera entrega de análisis de los resultados Saber PRO 2021, de poner en contexto el uso de los ranking y de explicar conceptos claves usados en la medición y la entrega de resultados, vamos a nombrar algunas conclusiones y propuestas.

Nuestro análisis parte no solo de la revisión de los resultados, parte también del trabajo que venimos desarrollando con más de 100 universidades en Colombia, evaluando a más de 500.000 estudiantes en los últimos 5 años y de formar a más de 10.000 docentes de muchas facultades del país en Resultados de Aprendizaje, Diseño de Ítems y uso de resultados. 

De las universidades tomadas como ejemplo para este informe, venimos trabajando con al menos 6 de ellas de forma directa y dialogando con el resto de manera constante.

Conclusiones del análisis de los resultados de Saber PRO 2021.

1. Los ranking deben tener una mirada más amplia. Cada universidad vive unas realidades particulares. Hay universidades que le aportan más valor a sus procesos y estudiantes que otras, aunque de forma global puedan tener más bajos resultados.
2. Bajar la desviación estándar, migrando resultados de niveles 1 y 2 a niveles 3 y 4 es una excelente propuesta para ir mejorando los resultados y sobre todo el alcance de competencias. No se trata solo de tener los más altos resultados, se trata  también de tener la menor cantidad de estudiantes en bajos niveles.
3. Los resultados nos ayudan a tomar decisiones de mediano y largo plazo, aprovechemos la coyuntura de Resultados de Aprendizaje y trabajo virtual para dinamizar las clases y repensar los Sílabo.

Propuestas para mejorar  el alcance de competencias y los resultados de Saber PRO.

Ya hemos nombrado varias veces las acciones que vienen llevando a cabo las universidades para mejorar los resultados en las Pruebas Saber. Acá puedes ver el detalle de acciones completas de corto, mediano y largo plazo. Para este artículo vamos a centrarnos en tres básicas.

1. Aplicar simulacros  en diferentes momentos del proceso de formación para obtener resultados y tomar decisiones. Los simulacros no van a mejorar los resultados por sí solos, es igual a pensar que uno aprenderá  contenidos y desarrollará competencias por solo aplicar una prueba. Es falsa esta suposición y ya lo hemos medido y comprobado. Aplicar simulacros mejora solo un porcentaje de la población, de esa población que preocupada toma decisiones de estudiar, profundizar y aprender más. Lo realmente importante es tomar decisiones  informadas con los resultados de los simulacros.
2. Y ¿cómo saber tomar las mejores decisiones? Los resultados de los simulacros aplicados en semestres iniciales nos sirven para conocer el estado de alcance de competencias de los estudiantes. Así empezaremos a medir Aporte Relativo y Valor Agregado. Los resultados me deben servir para contrastar los puntajes obtenidos versus la valoración y promedio que viene obteniendo cada estudiante en su proceso natural semestre a semestre. Esto desde procesos sólidos de acompañamiento con alertas tempranas. 
3. Usar rúbricas. Una de las herramientas más poderosas en el ámbito educativo. Volviendo al ejemplo de Comunicación Escrita, cada universidad en cada semestre debe construir rúbricas transversales que sirvan para valorar los procesos de escritura de cada estudiante en cada momento del proceso, independiente del pregrado, atacando la idea de suponer que en determinados programas es más o menos importante la escritura. Falso, en cualquier programa es importante. Si un docente dicta sus cursos en primer y en sexto semestre, debe tener completa claridad en cuánto y de qué manera le debe exigir a sus estudiantes en cada semestre de formación. Estas directrices las debe construir y brindar la universidad en un sistema que conecte y evidencie los Resultados de Aprendizaje propuestos. No podemos permitir que año a año se sigan graduando 59% de estudiantes con niveles tan bajos en la escritura. A la vista de todos. 

Gracias por tomarte el tiempo de leer este artículo. Si deseas conocer o profundizar más te invitamos a nuestro eventos gratuitos: Mayo Mes de la Medición ESE. Abordaremos sesiones de trabajo, en modalidad de talleres prácticos:

Diseño de Resultados de Aprendizaje.

Diseño de Instrumentos de Evaluación.

Diseño de Rúbricas.

Estrategias para el aseguramiento del aprendizaje y la mejora de los resultados Saber PRO y Saber TyT: Inscríbete acá

También puede copiar y pegar el link en tu navegador: https://forms.gle/ZY8xwBiUBC54PRF98

Si tienes dudas, sientes que te podemos ayudar en algo o deseas conocer mejor nuestros servicios, no dudes en ponerte en contacto. 

Escrito por: Eduardo Montoya Castañeda – Director general ESE – Latam.