Análisis: Aseguramiento del Aprendizaje, Aporte Relativo y Valor Agregado Saber PRO
Los resultados a nivel nacional bajaron en promedio 4 puntos porcentuales para el 2021. Esto ha generado varias interpretaciones; por ejemplo, que los estudiantes han decaído en su nivel academico, que su alcance de competencias es más bajo ahora que antes, que las universidades han desmejorado en su calidad, entre otras.
Vamos a proponer varios puntos de vista buscando una mirada más amplia, que puedan a aportar a otro tipo de conclusiones, más reflexivas y mejor informadas.
Aclaramos que este artículo es descriptivo, busca de forma sencilla acercar a quienes no son expertos a la comprensión, análisis y toma de decisiones desde los resultados de las Pruebas Saber PRO.
¿Cuáles son las mejores universidades en Saber PRO? Usemos una metáfora.
El Grupo A de atletas se preparan para una competencia de velocidad de 100 metros planos.
Inician su preparación midiendo con exactitud los 100 metros (no olvidemos este detalle) en un pista reglamentaria e inician su entrenamiento.
El primer día el mejor tiempo promedio es de 12,00s. Luego de una semana han bajado a los 11,35s. Luego de un mes han logrado un promedio de 11,00s
En otra parte del mundo, ha pasado lo mismo con el Grupo B de atletas, que también se prepara para la misma competencia, con la diferencia que ese grupo inició con un promedio de 14,00s logrando en el mismo tiempo de preparación que el grupo A, estar sobre los 11,00s.
Claramente el Grupo B ha tenido mejores resultados en cuanto a progreso, pero en cuanto al resultado general o global están empatados. A este progreso le podemos llamar Valor Agregado, ya que una misma población bajo un proceso de entrenamiento ha alcanzado unos resultados mejores en comparación a otro grupo (vecindad).
Es fácil en perspectiva comparar el Grupo A con el Grupo B, posiblemente solo compiten quienes tienes capacidades similares, son grupos homogéneos, con edades similares. Por eso este ejemplo puede funcionar bien.
Las universidades tienen un reto apenas parecido, tienen grupos de estudiantes diversos, heterogéneos, y pueden estar generando un mejor Valor Agregado de lo esperado en sus estudiantes, sin saberlo. Pero al medirse con los resultados globales, pueden sacar conclusiones inadecuadas.
Si cada semestre los estudiantes que ingresan a las universidades tienen un alcance de competencias diverso. ¿Por qué medirse de forma similar al finalizar un proceso de formación? Claramente desde esta perspectiva un ranking no aporta. Mientras que un estudio de Aporte Relativo y Valor Agregado sí puede aportar.
A todo esto, buscando una forma sencilla, sin alejarnos del rigor teórico:
¿Cómo podemos entender el Aporte Relativo y el Valor Agregado? ¿Qué diferencias y similitudes existen en ambos conceptos?
El Aporte Relativo lo podemos entender como “una aproximación a la contribución de las Instituciones de Educación Superior (IES) al desarrollo de competencias de los estudiantes” ICFES 2015. Es aproximación en la medida en que hay variables externas o sucesos del entorno que afectan a esa contribución. Lo hemos vivido en los últimos dos años con la pandemia y las protestas sociales.
Podemos inferir que todas las ciudades se vieron afectadas, pero fueron aquellas que viven en mayor medida del turismo, las que sintieron de forma más radical y veloz los impactos negativos. Lo mismo con las protestas sociales, hubo puntos de concentración donde se vivió con mayor crudeza y episodios de alta violencia que desestabilizan a todo la población.
El Valor Agregado Valor agregado se puede definir como “el aporte de las instituciones educativas a sus estudiantes en términos de aprendizaje, independiente de las condiciones de entrada de los alumnos. Esto teniendo en cuenta factores institucionales e individuales condiciones iniciales del individuo” ICFES 2014.
Efectivamente la nominación que propone el ICFES no deja muy clara la diferencia entre uno y otro concepto. Una clave que puede resultar relevante es que cuando hablamos de Valor Agregado los estudios y análisis se deberían hacer con la misma población. Por ejemplo, resultados Saber 11° versus Saber PRO, en Lectura Crítica, del mismo grupo de estudiantes. Usando modelos de predicción; sí en Saber 11° estaban en un nivel 3 de Lectura Crítica, en Saber PRO podrían llegar a un nivel 4.
En consecuencia el Aporte Relativo mantiene a la vista un conjunto de variables más generales relativas a los estudiantes, se pueden hacer análisis sin necesariamente tomar a la misma población. Se pueden generar hipótesis que se pueden contrastar en el tiempo.
Por ejemplo si la universidad ha implementado un modelo de rúbricas transversal para todos los programas y todos los semestres, buscando mejorar la exigencia en la Comunicación Escrita, y año a año ve como sus resultados en la prueba real de Saber PRO mejoran, podemos hablar de un Aporte Relativo.
En consecuencia, el Aporte Relativo contiene al Valor Agregado, lo constituye. Y con el permiso de los estadistas, el Valor Agregado requiere ser más concreto y específico en sus análisis.
Teniendo esto en mente, si concluimos que un ranking no es la mejor manera de evaluar un proceso ¿Qué acciones y tareas llevar a cabo?
Vamos a resolver a esta pregunta, para ello evaluemos y midamos el alcance de competencias.
Si una Universidad X mide a un grupo de estudiantes que en el primer semestre obtiene 215 puntos en inglés pero al finalizar ese mismo grupo de estudiantes alcanza un promedio es de 220, su valor agregado será tan solo de 5 puntos. Aunque posiblemente figure en el top 5 de las mejores de Colombia en inglés.
En contraste, una Universidad Y recibe a sus estudiantes en 120 puntos en inglés y los eleva a 160 puntos, apenas 5 puntos por encima de la media nacional. Seguramente no parecerá en las primeras páginas de los ranking, pero su proceso francamente es mejor.Su valor agregado ha sido excepcional. Han mejorado 4o puntos porcentuales.
Vamos pensarlo de forma mas precisa…
Esto se pone más interesante aún, si la Universidad Y sabe que entre el año 2017 al 2018 hay una variación de 10 puntos en los niveles de los estudiantes que han ingresado a sus programas, tendrá una mejor mirada de sus procesos de intervención.
Universidad Y, niveles de inglés ingreso cohorte:
2017= 120 puntos al ingreso.
2018= 110 puntos al ingreso.
Resultados reales 2021 de el grupo de estudiantes del 2017= 160 puntos de salida.
Resultados reales 2022 de el grupo de estudiantes del 2018= 155 puntos de salida.
“Ha bajado 5 puntos” dirían desde afuera los lectores desconocedores de los datos internos y que solo se fijan en los ranking.
La verdad es que han mejorado al menos 15 puntos, tomando la conducta de entrada los estudiantes al iniciar la formación y comparando con los resultados de un año a otro. Aunque los resultados globales parecen que indican lo contrario. Esto lo debería medir siempre la universidad.
¿Medir, medir y medir?
El reto apenas comienza, sí hasta el momento estamos de acuerdo con el hilo de los argumentos antes expuestos, tenemos ya una clara acción que debemos implementar:
“Midamos en semestres iniciales, programemos acciones de mejora de corto, mediano y largo plazo, y analicemos desde múltiples ópticas los resultados de salida”
Y ¿cómo medir acertadamente? ¿cómo saber tomar decisiones?
Volviendo la metáfora de los atletas, imaginemos que están entrenando durante un año en diversos contextos, unas veces a nivel del mar, otras a 4.000 metros de altura. Unas veces el gramilla, otras en arena, y otras en una pista reglamentaria tal como será en la prueba real. Evidencian que sus tiempos cambian al parecer sin lógica alguna, un día logran los 11,00s, otro día 14,00s y al finalizar una ardua semana, logran 9,00s (un récord mundial, son más rápidos por mucho que Usain Bolt) el atleta más rápido del mundo.
¿Cómo puede ser esto posible?
Al revisar el terreno y medidas donde han corrido deben corregir cifras. Por ejemplo en el último día no han sido 100 metros, sino 50 los recorridos, con unas condiciones de altura y de estructura del piso ideales. No hubo ningún récord, todo lo contrario, ese día su puntaje fue de los más bajos.
Con la medición de competencias cognitivas sucede lo mismo, el instrumento debe ofrecer, validez ( evaluar lo que tiene que evaluar) confiabilidad (obteniendo siempre los resultados reales) y consistente (siendo posible comparar sus resultados en el tiempo con mínimas variaciones).
Para el diseño de un instrumento de este tipo se deben seguir pasos como ya lo hemos nombrado en nuestro artículo sobre confiabilidad y validez.
Un error recurrente es diseñar un conjunto de ítems, y ser aplicados obteniendo unos resultados que no miden realmente lo que de deben medir, ni con la exigencia, ni con la entrega de informes acertados.
Capacitar a los docentes y pedirles que diseñen unos ítems para luego aplicarlos y obtener resultados será apenas la primera parte del proceso, si se quiere hacer bien la tarea, se deben hacer juicio de expertos, validarlos, balancear la prueba, generar informes adecuados y estar dispuestos a mejorar cada año el conjunto, haciendo las mejores baterías, los ítems bien usados son como los buenos vinos, entre más tiempo son mejores.
Un proceso de este tipo tarda necesariamente años, por esto lo mejor es iniciar cuanto antes. Las universidades que lo vienen haciendo lo saben perfectamente.
Conclusión 1. Debemos medir el Aporte Relativo y el Valor Agregado, para extraer mejores conclusiones sobre el Aseguramiento del Aprendizaje. Y los instrumentos que usemos deben ser validos, confiables y consistentes.
Desviación estándar y niveles de desempeño.
El promedio global se lleva siempre todos los créditos como ya lo hemos visto. Por esto vamos explicar uno de los conceptos más importante al momento de revisar y entender los resultados: desviación estándar y niveles de desempeño. De nuevo, siendo reiterativos, no podemos ver solo la medición en términos de ranking y de las mejores universidades.
Siguiendo con la metáfora, los resultados que se han obtenido al momento son positivos para el global del grupo, pero que pasa si hay unos atletas del Grupo A que tienen los mejores tiempos y otros no, esto cambia un poco la mirada. El desempeño del grupo puede parecer bueno, pero hay atletas que no están logrando los niveles esperados.
Si el mejor hace 10:00s y el otro 14:00s, los resultados son heterogéneos, significa que el nivel no es el mismo, ¿qué hacer entonces? Este ejemplo sigue siendo ideal ya que posiblemente los atletas que no alcancen un mínimo esperado no podrán competir, quedarán por fuera del grupo y tendrán que intentarlo de nuevo.
En la universidad el terreno es más complejo, no podemos descalificar a los estudiantes, sacarlos de la competición, y ya. La educación humaniza, y ayuda a hacernos la pregunta: ¿Qué podemos hacer en pro de la mejora y del alcance de competencias? ¿En pro del Aseguramiento del Aprendizaje?
Se deben usar mecanismos que aporten a la mejora del grupo, y esto abarca a los procesos en los individuos, en sus acciones de formación y de alcance de competencias. Por esto la desviación estándar siempre está presente en todos los informes del ICFES.
Dicho de forma directa, si un estudiante obtiene el nivel 1 en Comunicación Escrita, ¿qué está haciendo la universidad para mejorar sus competencias? ¿está ignorando el problema? ¿Por qué se gradúa? ¿Acaso la universidad no implementa propuestas y procesos para que los estudiantes pudiesen mejorar realmente?
La desviación estándar tiende a cero cuando todos los atletas corren a la misma e ideal velocidad, y se vuelve en contra cuando los atletas tienen resultados diversos y son más lentos.
Como ya lo vimos en nuestra entrega 1 del análisis de los resultados, debemos migrar de niveles 1 y 2 a niveles 3 y 4.
Si ya te lo preguntaste, llama mucho la atención que ninguna universidad en Colombia tenga 0% de estudiantes en niveles 1. Algunos programas aportan 0%, pero la mayoría tienen al menos un 2% en niveles 1. Podemos asegurar que la primera universidad que logre esa meta en todos los módulos, tendrá los mejores resultados y sobre todo, uno de los mejores procesos de formación en competencias y Aseguramiento del Aprendizaje.
Resultados de Aprendizaje, cómo mejorar los aprendizajes.
Ya lo hemos expuesto en diversos momentos, pero debemos ser reiterativos, los RA son una oportunidad de oro para mejorar el alcance de competencias y por su puesto los resultados.
Bien sabemos que los RA son una tendencia mundial, en Colombia para su implementación y aplicación de ley podemos conocer los acuerdos 02 del CESU del 2020 y la ley 1330 del 2019 y la Resolución 021795 de 2020.
Hemos visto que muchas veces se cree ingenuamente o por el afán de cumplir con requerimientos de ley que la mera tarea es redactarlos, incluirlos en los sílabo y no volver sobre ellos.
Pero tarea real se ocupa de diseñarlos, evidenciarlos y evaluarlos. En la línea de los Perfiles de Egreso, las competencias esperadas y la filosofía de la universidad.
Si ya sabemos cuál es el nivel de los aprendizajes en el área de inglés del la Universidad X, ¿qué estamos haciendo para hacerlos visibles de forma transversal en cada una de las asignaturas? ¿Qué tipos de resultados de aprendizaje y con cual complejidad estamos redactando para hacer frente al contexto particular de la universidad?
Si los estudiantes siempre ingresan a la universidad en niveles B1 por exigencias y políticas institucionales, no tiene sentido construir un resultado de aprendizaje que espere al final del proceso que un estudiante alcance el mismo B1.
Podemos concluir de manera evidente, que es diferente al camino que debe trasegar la Universidad Y vs la Universidad X.
La magia de los resultados de aprendizaje está en su diseño, pensado en mejorar el aprendizaje.
Rúbricas, sí, es el momento, ahora o nunca.
Las rúbricas gozan de una aceptación cada vez mayor entre los docentes; les permiten ahorrar tiempo, hacer más fáciles algunas tareas, generar mejores devoluciones de resultados a los estudiantes. Además, su uso transversal y por semestres, permite ir evidenciando de forma clara y objetiva el alcance de los resultados de aprendizaje esperados, gestionando y asegurando el aprendizaje.
La Universidad X tendrán rúbricas diferentes ya que sus necesidades y metas son particulares. Las debe diseñar y particularizar de acuerdo a su contexto.
También cada docente debe conocer exactamente con qué exigencia deberá evaluar en cada momento del proceso. Las rúbricas, el instrumento de valuación y los resultados de aprendizaje esperado esperados son realmente la clave para alcanzar los objetivos previstos.
En sentido estricto, las rúbricas son una poderosa herramienta para el alcance de los aprendizajes.
Conclusión final.
La frase bastante popular, “lo importante no es la llegada sino el camino”, también aplica para los procesos de formación en la universidad. No podemos ubicarnos solamente en la meta y esperar a que los mejores vayan llegando, no podemos brindarle a los estudiantes y atletas últimos 10 metros el soporte y entrenamiento que jamás les dimos en los 90 m anteriores. Será poco relevante, y para muchos casos completamente irrelevante.
Gracias por tomarte el tiempo de leer este artículo. Si deseas conocer o profundizar más te invitamos a nuestro eventos gratuitos: Mayo Mes de la Medición ESE. Abordaremos sesiones de trabajo, en modalidad de talleres prácticos:
Diseño de Resultados de Aprendizaje.
Diseño de Instrumentos de Evaluación.
Estrategias para el aseguramiento del aprendizaje y la mejora de los resultados Saber PRO y Saber TyT: Inscríbete acá
También puede copiar y pegar el link en tu navegador: https://forms.gle/ZY8xwBiUBC54PRF98
Escrito por: Eduardo Montoya Castañeda – Director general ESE – Latam.