Universidades con mejores resultados Saber Pro 2020 I análisis de resultados I Mejores universidades en Colombia I

El promedio nacional de las universidades en Colombia subió en el 2020 en las Pruebas Saber PRO.

Conoce nuestro último informe actualizado 2022: Análisis ESE: resultados Saber PRO 2021 – Ranking mejores universidades Saber PRO – Primera entrega

¿Qué significa este aumento?

¿Cuáles son las posibles razones por las que esto sucede?

¿Es adecuado hablar de un ranking de universidades Saber Pro 2020 – 2021?

¿Qué otros hallazgos se presentan?

¿Qué se puede analizar a partir de estos resultados?

¿Cuáles son las Universidades con Mejores Resultados Saber Pro 2020?

Ofreceremos algunas hipótesis y análisis como respuesta a estos interrogantes.

Año a año los estudiantes colombianos que hacen parte de las instituciones de educación superior y que han avanzado en el 75% de sus créditos académicos son evaluados por el ICFES. Integran esta prueba las llamadas competencias genéricas: Lectura crítica, comunicación escrita, razonamiento cuantitativo, competencias ciudadanas e inglés; así como las competencias específicas que son propias de cada programa académico, por ejemplo, un estudiante de Derecho es evaluado en Comunicación jurídica, gestión del conflicto, e investigación jurídica. En el 2020 debido a las adaptaciones que tuvo que realizar el ICFES debido a la pandemia, estas últimas no fueron evaluadas, y los exámenes se llevaron a cabo de forma electrónica.

Hemos realizado una revisión de los resultados obtenidos y tenemos algunas conclusiones interesantes. Para contextualizar, es importante tener en cuenta que los resultados no corresponden a un ranking o clasificación, corresponden mas bien a una “radiografía” del desempeño de los estudiantes en las competencias evaluadas, a su vez esta “radiografía” puede ser usada por las instituciones para llevar a cabo acciones de mejora al interior de sus programas y aportar a sus procesos de acreditación.

En el 2020 fueron evaluadas 256 instituciones, el primer dato interesante es que de estas solamente 22 bajaron sus puntajes promedio en relación con la prueba del 2019.  Veamos la información que nos presenta la tabla, recordemos que los valores van en una escala de 0 a 300 puntos.

¿Qué significa este aumento?  ¿Cuáles son las posibles razones por las que esto sucede?

De acuerdo con información suministrada por el ICFES en uno de sus talleres sobre interpretación de resultados Saber Pro (2019), se puede tomar como relevante un cambio de mínimo 3 puntos, valor que es evidenciable en el promedio de las universidades, esto responde entonces a nuestro primer interrogante. De acuerdo con la aplicación censal 2020, al revisar los datos en frio y cuantitativamente, se evidencia una mejora en los resultados que puede calificarse como satisfactoria.

Ahora bien, ¿por qué se da esto?, a la fecha no se ha hecho una socialización oficial por parte del ICFES para poder conocer desde sus fuentes un análisis general de los resultados que apoyado en la estadística nos exponga cualitativamente las razones de este aumento (como por ejemplo, el nivel de dificultad de los instrumentos de evaluación utilizados, elementos en la valoración de los ítems en el momento de calificar, diferencias a la hora de evaluar y calificar una prueba electrónica vs. una prueba en formato físico etc.) Sin embargo podemos revisar algunos elementos del contexto que nos arrojan ciertas hipótesis:

• Estamos entrando en una cultura de la evaluación externa que va madurando y teniendo cada vez más relevancia en las universidades. Ya sea por razones de acreditación o la necesidad de mejora en sus procesos internos, las universidades pueden estar más comprometidas con el desarrollo de las competencias genéricas de los estudiantes. El diseño de planes curriculares que vayan de la mano con la transversalidad, la enseñanza por competencias, el aseguramiento del aprendizaje y los resultados de aprendizaje pueden ser prácticas cotidianas que están dando resultados. Valdría la pena realizar una investigación profunda al respecto que nos de mayores argumentos, pero esta puede ser de entrada una posible razón.

• Entre 2019 y 2020 se presenta una reducción en el número de aplicaciones. La diferencia es de 13.352 equivalente a 5,12% menos de evaluados (en el 2019 se entregaron resultados a 260.756 mientras que en el 2020 a 247.404 estudiantes). Pero la reducción en si misma no genera el impacto, este se hace evidente cuando la ausencia es de aquellos estudiantes que posiblemente tienen limitaciones económicas y dificultades de conectividad, estando esto ya asociado a bajos desempeños académicos. Esta hipótesis se resume entonces en que es probable que una cantidad de estudiantes que podría bajar los promedios, no se hicieron presentes en la aplicación. A esto se le agrega que el aumento de los resultados fue más alto en aquellos estudiantes de mayor estrato socioeconómico:

• ¿Se podría haber hecho un uso inadecuado de la prueba por parte de los evaluados? En las redes sociales encontramos diferentes comentarios y dudas por parte de usuarios que indicaban inconvenientes técnicos para el desarrollo de la prueba. ¿Será que estos inconvenientes afectaron los protocolos de seguridad y esta es una variable externa que les facilitó a los evaluados la presentación? ¿La inexperiencia de una aplicación masiva en este tipo de prueba electrónicas habría afectado el proceso?, estos son algunos interrogantes naturales que pueden tener lugar gracias al contexto en el que se llevó a cabo esta medición.

Como un tema relacionado, también valdría preguntarse si la aplicación electrónica favoreció el desempeño al permitirles a los evaluados desarrollar el examen en un ambiente familiar, con menor estrés, con posibilidad de realizar pausas activas, y hacer uso de espacios más confortables, comparados con un salón de clases convencional.

¿Es adecuado hablar de un ranking de universidades Saber Pro 2020 – 2021?

Es popular hablar de Ranking, haciendo un listado de las “mejores universidades” “de los mejores programas”. Si bien es cierto que hay mejores resultados, eso no significa que de forma incuestionable son mejores universidades. Si usamos los datos de manera fría ubicando en el primer puesto a las universidades con mejor promedio global, dejamos de lado una de las grandes cualidades de la universidad, lo universal. Así que, el análisis debe ser más amplio como lo ejemplificaremos a continuación.

Vamos a tomar como punto de referencia las universidades que tienen un puntaje que las ubica entre las 10 mejores de Colombia en relación a sus resultados Saber PRO 2020 y vamos a ir variando las gráficas insertando variables de cantidad de estudiantes, desviación estándar, mejora de sus resultados versus con el año anterior, entre otras y nos daremos cuenta como esos rankings cambian drásticamente.

Esta gráfica nos muestra la ubicación de las universidades por resultados globales, siendo la universidad de Los Andes la que ocupa el primer puesto con 194 puntos, seguida del CESA con 189, EIA 185, Universidad de la Sabana 181, Universidad Nacional todas las sedes 181, ICESI 180, El Rosario 179, Uninorte 178, Javeriana ambas sedes 178, EAFIT 174 puntos.

¿Qué otros hallazgos se presentan? ¿Qué se puede analizar a partir de estos resultados?

Si ordenamos estas universidades haciendo una comparativa de sus resultados y los puntos que mejoraron de un año a otro, encontramos lo siguiente:

Para este caso, la universidad de la Sabana mejora en total 7 puntos en relación a su puntaje global obtenido en el 2019. De continuar esta tendencia para el 2022 posiblemente llegue al primer lugar. El CESA 6 puntos y la universidad Nacional con sede Medellín 6 puntos. Para este caso desagregamos las sedes para hacer el análisis más enriquecedor.

Y ¿qué sucede si hacemos el análisis por cantidad de estudiantes evaluados?

Podemos concluir que los resultados varían de nuevo si de hacer un ranking se trata. Entre otras razones, al tener una alta población evaluada los resultados pueden ser más heterogéneos, casi siempre la desviación estándar y la varianza crece.  Miremos la siguiente gráfica.

Acá se muestra el resultado de la desviación estándar comparando año 2019 versus año 2020. Los resultados evidencian mejor desviación estándar (el ideal que tienda a cero ) en universidades con poblaciones menos numerosas como es el caso del CESA. Resaltamos en ese sentido la Universidad de la Sabana, que teniendo una población de 1.900 evaluados,  no varía en su desviación estándar. Caso diferente al resto de las universidades en la gráfica.

Como lo vimos al inicio de este artículo, se puede hacer un análisis por resultados obtenidos en los niveles socioeconómicos, para que cada universidad puede sacar sus conclusiones: ¿Los estratos altos obtienen mejores resultados en todas las universidades? ¿Hay motivaciones intrínsecas cuando se habla de estratos socioeconómicos? Son preguntas que es necesario hacerse, para tener un panorama más amplio y emprender acciones con decisiones realmente informadas.

Aporte relativo y valor agregado.

Para terminar, en la misma línea de análisis de resultados, es posible al comparar algunos módulos de Saber 11º con Saber PRO, obtener datos sobre el Aporte Relativo y Valor Agregado. O con la aplicación de pruebas simulacros que sean válidos y confiables, se pueden obtener datos que servirán para la toma de decisiones, acá por ejemplo mostramos los resultados obtenidos en un mismo programa.

En el proceso de formación se espera un aumento en las competencias. En la gráfica podemos ver que hay módulos en los cuales hay una mejora en los resultados, pero no es una mejora en todos. Estos resultados son vitales para la toma de decisiones en el corto mediano y largo plazo.  ¿Realmente le estamos aportando valor a nuestros estudiantes en las competencias genérica? ¿Cuál es el aporte relativo de la universidad? ¿Estamos implementando Resultados de Aprendizaje que buscan mejorar los procesos de formación y evaluación? ¿Sabemos cómo medirlos?

Con este artículo invitamos a las universidades a que desarrollen proceso de toma y análisis de datos cada vez más amplios.

Escrito por: Eduardo Montoya Castañeda – Director general ESE – Latam. 

También te puede interesar:

Listado Mejores Saber PRO y Saber TyT 2020 I Noche de los Mejores

¿Cómo mejorar los resultados en las Pruebas Saber PRO en las universidades?