¿Cómo evaluar los Resultados de Aprendizaje?

Luego de publicar varias entradas es nuestro blog y editoriales sobre la redacción de los resultados de aprendizaje, su relación con las competencias y el perfil de egreso, debemos abordar un nuevo reto:

¿Cómo evaluar los Resultados de Aprendizaje?

Podemos decir que existen dos grandes pasos cuando de la implementación de los Resultados de Aprendizaje hablamos: cómo se redactan y cómo se evalúan. Así que no dejes de leer hasta el final, encontrarás un artículo, vídeo y taller práctico donde abordamos su diseño y evaluación.

Redactarlos, como ya lo hemos hablado antes, tiene una lógica de construcción que permite pensar los resultados de una manera coherente con aquello que esperamos el estudiante pueda alcanzar al finalizar un proceso de aprendizaje. Y bien sabemos que ese es el objetivo central de cualquier acción pedagógica: el alcance de algún tipo de aprendizaje.

¿Puede ser evaluable ese aprendizaje? ¿Se puede evidenciar gracias al uso de un instrumento? Acá viene lo más interesante: las evidencias.

La evaluación de los resultados de aprendizaje desde las evidencias.

Podemos decir que la evidencia del aprendizaje permite determinar si un estudiante está o no aprendiendo, y si está aprendiendo, con qué grado de profundidad. Un estudiante puede declarar que sabe algo, lo puede nombrar, narrar y asegurar, pero… ¿lo puede evidenciar, lo puede demostrar mediante un hecho tangible y verificable?

Trabajando en diferentes colegios y universidades le hemos preguntado a los docentes ¿Qué desean que sus estudiantes aprendan? La mayoría de las respuestas, y te invito a que te hagas esta pregunta antes de seguir esta lectura, son bastante románticas. A este le hemos llamado lo” ideal en el aprendizaje”

Sus respuestas se refieren a “Qué los estudiantes aprendan a pensar por si mismos” “que sean críticos” “que despierten y se den cuenta de la realidad del mundo” “a pensar”, “a ser personas”, “a ser críticos”.

Este es el resumen de una encuesta que aplicamos en un grupo de docentes, al menos 200 docentes respondieron. La pregunta fue: “les agradecemos puedan responder de forma concreta ¿Qué desean que sus estudiantes aprendan?”

Luego complejizamos la pregunta y les hicimos una nueva: ¿Qué le estamos enseñando a nuestros estudiantes?  Las respuestas no variaron mucho, la línea siguió siendo la misma, salvo algunas excepciones que fueron llevando la pregunta al terreno de lo que “uno quiere enseñar versus lo que se debe enseñar”.

Pero resaltando a su vez, que es otra la realidad de lo que ellos (los estudiantes) quieren o desean aprender. En este punto podemos decir que se va dejando de lado la idea romántica de ala educación y el aprendizaje, y se va acentuando la discusión sobre lo ideal y lo real del aprendizaje. ¿Cómo asegurar el aprendizaje?

La realidad del aprendizaje.

Lo más complejo es que tenemos que aceptar una verdad incomoda, no existe una forma 100% objetiva gracias a la cual podamos decir que aseguraremos el aprendizaje.  La decisión de aprender depende de cada uno. Puede decirse que la escuela facilita el aprendizaje, pero no es la única fuente del mismo.

Y otra verdad incomoda es que el discurso natural y paulatino de muchos docentes ha sido romántico, en el sentido de configurar en palabras, no en hechos, el ideal de formación. Esperando, o mejor soñando, que se dé, pero que no se vincula con prácticas objetivas que deriven en lo que realmente se da.

Suena muy bonito, ideal y romántico, eso de “enseñar a ser personas” pero, ¿qué es eso?, ¿de qué estamos hablando? Para llegar a tierras más firmes, deberíamos empezar por dar sentido a eso de ser personas gracias a, por ejemplo: una definición ética, desde una postura crítica, un comportamiento determinado. Pero permítenos que retomar esto más adelante.

Ahora bien, evitando la discusión sobre la decisión de aprender y suponiendo que tenemos ya a un grupo de estudiantes que han pasado por nuestras sesiones de clases, entendiendo con ello que han decidido aprender, y que ya han realizado diversas acciones programadas para generar en si mismos ese aprendizaje esperado; la preguntas vitales serán: ¿cómo vamos a evidenciar el aprendizaje? ¿cuáles mecanismos pondremos en práctica para desarrollar un proceso que vincule el aseguramiento de los resultados de aprendizaje esperados?

La respuesta está en las evidencias. Evaluar los resultados de aprendizaje gracias a las evidencias.

Cuando hablamos de evidencias, podemos nombrar dos grupos, unas son las evidencias directas y otras las indirectas. Vamos a dar un ejemplo desde uno de los módulos evaluados en Saber PRO llamado Comunicación Escrita.

Las evidencias  indirectas.

Si le preguntas al estudiante en que consiste la prueba, qué tipo de escrito se evalúa, cuáles son las claves para su redacción. El estudiante puede responder: “consiste en una prueba que dura 40 minutos, hay que redactar un texto de orden argumentativo gracias a una pregunta que previamente se ha sugerido, y se debe tener en cuenta la redacción, la claridad de las ideas, el uso adecuado de conectores, argumentos que puedan convencer o al menos persuadir a quien lo lea…”

Esta sería un tipo de respuesta ideal, ideal porque surge de las ideas, y si bien es una respuesta adecuada en términos declarativos, lo que declaran que saben, la verdad es que no sabemos si en la práctica lo pueden evidenciar. A este tipo de evidencia le llamamos indirecta.

Las evidencias directas.

Ahora bien, si el estudiante puede construir un texto escrito con estas características expuestas y bajo los lineamientos exigidos, podemos decir que realmente tenemos una evidencia. A este grupo de evidencia se le denomina directa.

En la mayoría de los casos, la evidencia directa se vuelve palpable, observable, verificable. Lo que es una gran ventaja al momento de evaluar los resultados de aprendizaje.

Además, podemos evaluar más fácilmente el proceso de adquisición de aprendizajes que ha logrado, una forma de contrastar el aprendizaje alcanzado es, por ejemplo, al hacer una comparativa entre un texto que inicialmente escribía, “prueba diagnóstica”, y un texto que está escribiendo al finalizar un proceso de formación, “prueba de salida”.  Esta a su vez una de los módulos genéricos en las Pruebas Saber PRO.

En este sentido, una vía para evaluar los resultados de aprendizaje, es posibilitando el alcance de competencias gracias a las evidencias. En perspectiva, la pregunta será ¿Qué debe evidenciar un estudiante para asegurarnos que alcanza un proceso de aprendizaje?

Los resultados de aprendizaje, los instrumentos de evaluación y las rúbricas.

Consejo práctico: cuando hablamos de evaluación debemos tener dos preguntas claves en cuenta: ¿qué voy a evaluar? ¿cómo lo voy a evaluar? El qué voy a evaluar se relaciona con ese conocimiento, habilidad, actitud, competencia, previamente definido. Y el cómo se relaciona con el instrumento y la rúbrica.

El instrumento es la herramienta con la cual voy a recolectar información sobre el proceso de aprendizaje y la rúbrica es la que me ayuda a leer ese proceso de aprendizaje.

Para ejemplificar mejor esto podemos usar un recurso desde el área de la salud. Si un paciente es remitido donde un médico especialista por un dolor en su hombro y el especialista le pide que se haga una radiografía, para este caso la radiografía es el instrumento con el cual se va a recolectar la información sobre el estado del paciente, y la lectura de los resultados será en este caso la rúbrica, que me va a permitir entender la lectura del examen, de la radiografía.

La rúbrica es la descripción de los criterios para emitir el juicio, (Förster, 2017). El médico especialista debe tener claridad sobre el contexto del paciente. En medicina se le llama anamnesis, término que aplica igual para disciplinas como la psicología o la filosofía, se define como: “Conjunto de datos que se recogen en la historia clínica de un paciente con un objetivo diagnóstico” Diccionario Oxford.  ¿Qué edad tiene? ¿cuál es su estilo de vida? ¿ha tenido el paciente lesiones anteriores?

Si se tiene una rúbrica se podrá emitir un juicio mucho más objetivo e imparcial sobre las evidencias de aprendizajes entregadas, sobre el aprendizaje alcanzado.

Cómo podemos ver, la lectura que se haga de cada caso va a aplicar a cada paciente. Del uso adecuado del instrumento y de la lectura adecuada que hagamos, podremos realmente reconocer los aprendizajes.

Si deseas conocer más a fondo sobre instrumentos de evaluación, sigue este link y si deseas conocer sobre rúbricas no dejes de leer este articulo. Además te invitamos a conocer nuestro Diplomado sobre Resultados de Aprendizaje, sobre Rúbricas y sobre Diseño de Instrumentos de Evaluación.

Continuemos, vamos a dar un nuevo ejemplo:

Resultado de Aprendizaje desde la competencia de Comunicación Escrita en Saber PRO.

“Construye un texto de tipo argumentativo, respetando los elementos disciplinares del área de la psicología en un contexto clínico”

La evidencia, o una de las evidencias del trabajo realizado será el texto en sí mismo, pero no debe ser la única, ya que la evaluación del resultado de aprendizaje puede y debe ser más compleja.

Podemos a la vez evaluar con un test si reconoce el uso de los distractores, y con pequeños ensayos, si está usando argumentos claros y contundentes que den cuenta de una reflexión profunda sobre el tópico que viene escribiendo, la disciplina y su manejo conceptual. Además, podemos recoger sus opiniones en un conversatorio, planteando una pregunta particular.

Retomando la discusión inicial de lo “ideal del aprendizaje” y de la “realidad del aprendizaje”.

Y si queremos enseñar a “ser personas”, a generar actitudes críticas…

Con el ejemplo de Comunicación Escrita, podemos decir que estamos aportando al desarrollo de un sentido critico, el texto en si mismo lo es si establecemos dentro la rúbrica unos criterios que aborden y que su vez estamos aportando a la capacidad que tiene de expresarlo. Así podemos aterrizar ese discurso ideal de enseñar a pensar, a vivir, a reflexionar. Y lo vamos articulando e implementando en acciones prácticas, pragmáticas y de aplicación, de poco serviría lo aprendido, si no es para ponerlo en práctica.

Consejo práctico 1: evitar confundir la evidencias con Resultados de Aprendizaje, los primeros son más sencillos, los segundos son más robustos. En este link podrás ver en detalle pautas y guías de cómo redactar los resultados de aprendizaje.

Consejo práctico 2: ya lo hemos dicho, pero debemos repetirlo, los Resultados de Aprendizaje deben ser evaluables, medibles y alcanzables.

¿Cómo usar los resultados de las Pruebas Saber PRO para medir el alcance de los Resultados de Aprendizaje?

Al hablar de los resultados de las pruebas Saber PRO para medir los resultados de aprendizaje, proponemos los siguientes pasos:

1. Incluir en las materias resultados de aprendizaje que se relacionen directamente con los módulos genéricos o específicos en las pruebas Saber PRO. Ejemplo. En el programa de Psicología, en materias que trabajen elementos de estadística o psicometría pueden incluir uno o varios resultados de aprendizaje que aborden contenidos y habilidades relacionados con el Razonamiento Cuantitativo. En este caso este ejemplo aplica para cualquier módulo genérico de Saber PRO. Lo mismo aplica en cualquier otro programa: un economista cuando escribe un texto de orden argumentativo para evidenciar un informe de análisis  económico, se traduce en la Comunicación Escrita.
2. Para el caso de los módulos específicos de Saber PRO, se deben revisar en detalle los Marcos de Referencia oficiales creados por el ICFES, acá los puedes ver todos. Analizando cuales materias aportan más y mejor a esos módulos y tomando decisiones sobre cuales escoger en las evaluaciones en las pruebas reales. En este link podrás ver un análisis más completo, además cómo empresa venimos desarrollando estos informes año a año.
3. Aplicar simulacros tipo Saber PRO de alta calidad en competencias genéricas en pruebas de admisión o en los primeros semestres, luego ir comparándolos en el tiempo, aplicando pruebas en cuarto o quinto semestre. Elaborando informes que midan el aporte relativo o el valor agregado en los estudiantes. De esta manera estos resultados se pueden comparar con los resultados oficiales de Saber PRO para tomar decisiones.
4. Analizar los resultados en Saber PRO, analizar los módulos con más bajos desempeños y dentro de los módulos los grupos de competencias y los niveles de desempeño donde se ubican los estudiantes. Pensar en un efecto cascada a la inversa donde se puedan rastrear en qué área o materias se pueden incluir estrategias y resultados de aprendizaje que busquen mejorar esas competencias.

En este caso los 4 puntos mencionados pueden trabajarse por separado, pero lo ideal es integrarlos en un plan de largo plazo que los haga flexibles, sistemáticos y cíclicos. Flexibles para irlos ajustando, sistemáticos para irlos relacionando y cíclicos para irlos perfeccionando y reproduciendo en el tiempo.

Para terminar, consideramos que los resultados de aprendizaje con una excelente excusa para repensar el currículo, la didáctica y la evaluación de los procesos.

Escrito por: Eduardo Montoya Castañeda – Director general ESE – Latam.