El boletín informativo del ICFES trae una interesante entrevista con el Profesor Daniel Koretz, Ph.D. en Psicología evolutiva de la Universidad de Cornell, profesor de Escuela de Posgrados de Educación de la Universidad de Harvard y miembro de la National Academy of Education en Estados Unidos, sobre la manera como deben ser vistos los resultados de las pruebas de evaluación educativa, a propósito de pruebas como las Saber Pro, y el cuidado que debe tenerse a la hora de aplicar castigos y reconocimientos.
El siguiente es el texto de la entrevista – síntesis:
La exposición del profesor Koretz, basada en el libro “Measuring Up: What Educational Testing Really Tells Us” escrito por el conferencista, se centró en lo que las pruebas educativas dicen y no dicen, y cómo los puntajes pueden ser mal entendidos y mal utilizados. Las complejidades de hacer este tipo de pruebas son rutinariamente ignoradas, bien porque no se conocen o porque son difíciles de entender. El libro en cuestión, y por tanto esta conferencia, fue inspirado por un popular curso del autor en la universidad de Harvard dirigido a estudiantes sin formación extensiva en matemáticas. Daniel Koretz ofrece sus explicaciones en términos estadísticos sencillos para que el público comprenda los temas fundamentales que deben tenerse en cuenta al realizar pruebas de logro para evaluar la educación, y muestra cómo estos conceptos se aplican a los temas más controversiales de la educación de hoy, desde las pruebas con consecuencias (high-stakes testing) hasta la educación especial. Mediante ejemplos, Koretz muestra cómo fácilmente las pruebas y los puntajes pueden sobre-venderse y comprenderse equivocadamente, pero también como pueden utilizarse cuidadosamente para ayudar a descubrir cuánto han aprendido los estudiantes.
Koretz habla de los riesgos que se corren cuando se atan consecuencias a los resultados de las pruebas. En particular hace alusión a la inflación de los resultados, es decir, a que los puntajes aumentan más que el aprendizaje real como resultado de una mala preparación para las pruebas. Este tipo de preparación genera ganancias específicas a la prueba y no son generalizables mas allá de la misma. Por el contrario una buena preparación entrega a los estudiantes conocimientos y destrezas que pueden aplicar en cualquier parte y en este sentido una mejor calidad de la educación se debe reflejar en aumentos en los puntajes: enseñar más, trabajar más duro y de manera efectiva.
Este tipo de riesgos pone en evidencia que si bien no es posible, ni deseable, concebir un sistema de evaluación que no haga uso de pruebas estandarizadas, no es recomendable usar solamente una prueba para evaluar y rendir cuentas.
A partir de la experiencia norteamericana Koretz insiste en la necesidad de investigar sobre las variaciones entre tipos de escuelas y entre tipos de estudiantes, probar nuevos diseños de pruebas y de sistemas de rendición de cuentas más ambiciosos que permitan estimar mejor las ganancias reales, y por supuesto experimentar con nuevos diseños de sistemas de evaluación.
Debido a que el autor nos alerta acerca de los riesgos de tomar decisiones basándonos en los resultados de las pruebas muchos de los participantes plantearon preguntas relacionadas con la rendición de cuentas basada en pruebas. Quisiéramos utilizar este espacio para compartir con ustedes las reflexiones que nos ha hecho el profesor Koretz acerca de este tema, esperando que se genere una discusión alrededor del uso de las pruebas estandarizadas para tomar decisiones.
Pregunta: ¿Qué precauciones debe tener el gobierno si decide implementar un sistema de rendición de cuentas basado en los resultados de las pruebas, esto es, por ejemplo, asignar recursos o evaluar profesores basándose en los resultados de las pruebas?
Daniel Koretz: Primero, debo resumir algunos de los resultados más importantes de la investigación Estados Unidos sobre la rendición de cuentas a partir de los resultados de las pruebas. En síntesis, esa investigación muestra que:
- Los efectos de los sistemas de rendición de cuentas basados en pruebas sobre los resultados de los estudiantes han sido “modestos” en el mejor de los casos. La investigación no es muy fuerte pero sugiere que pueden haber pequeños efectos en matemáticas para la escuela primaria, pero no en lenguaje.
- Los sistemas de rendición de cuentas han motivado formas indeseables y generalizadas de preparación para las pruebas. Estas incluyen por ejemplo: 1) reducción de la atención a los estudiantes que no son evaluados 2) reducción del énfasis de los aspectos de las áreas que no son evaluados y 3) “entrenamiento” (enfocándose en aspectos poco relevantes de las evaluaciones y en proveer trucos para responderlas).
- Como resultado de esta preparación indeseada, los puntajes casi siempre se “inflan”. Es decir que, los puntajes incrementan rápidamente, mientras que el desempeño real de los estudiantes incrementa mucho menos, o a veces nada. Esto crea una ilusión de mejora. Y también puede resultar en rankings incorrectos de las escuelas y los profesores.
El desempeño de los estudiantes es sin duda el objetivo más importante de la educación, y las evaluaciones estandarizadas tienen ventajas sobre otros métodos de evaluación del logro – en particular – la comparabilidad entre las escuelas. Por consiguiente, creo que la pregunta no es si se deben incluir evaluaciones estandarizadas en los sistemas de rendición de cuentas, sino cómo usar esas evaluaciones. Una parte importante de la investigación sobre los sistemas de incentivos sobre desempeño en otras áreas indica que no seremos capaces de evitar del todo los efectos negativos. La pregunta es cómo usar las evaluaciones para minimizar los efectos negativos y maximizar los positivos.
En mi opinión, se necesitan varios pasos para minimizar los efectos negativos. Sin embargo, debo advertirles que, aun cuando tenemos una buena cantidad de investigación sobre los efectos sobre los sistemas actuales de rendición de cuentas, tenemos poca investigación que evalúe cuáles son los mejores. Aun así creo que los elementos críticos de un sistema mejor son:
1. No limitar los sistemas de rendición de cuentas a las evaluaciones estandarizadas. Los diseñadores de las evaluaciones han advertido por décadas que las pruebas estandarizadas pueden medir solamente una parte de los objetivos de la educación. El rendimiento no es lo único que queremos, y no todos los aspectos del mismo pueden ser evaluados mediante pruebas estandarizadas.
Por lo tanto, en la medida de lo posible, los sistemas de rendición de cuentas deben medir los objetivos generales de la educación.
2. Diseñar evaluaciones para minimizar la preparación de pruebas inapropiada. La mala preparación y la inflación de los puntajes surgen porque tanto el contenido de las evaluaciones como las formas en las cuales ese contenido es presentado, usualmente son, en parte predecibles.
3. Monitorear los efectos de los sistemas de rendición de cuentas en la práctica educativa. En los Estados Unidos los encargados de la política pública generalmente han asumido que si los puntajes aumentan, es porque los sistemas de rendición de cuentas están funcionando, entonces no se necesita monitorear los cambios en las prácticas que producen esas mejoras en los resultados. La investigación ha mostrado que esta “confianza” no está garantizada, la prensa comúnmente provee ejemplos sobre las malas respuestas a las evaluaciones. Cuando se encuentran efectos negativos, el sistema debería ajustarse como respuesta. En algunos campos se conoce como “rendición de cuentas dinámica.”
4. Monitorear el sistema para detectar la inflación. Esto se puede hacer de diversas formas, por ejemplo, aplicando una prueba diferente a una muestra de estudiantes de manera que se pueda medir la dimensión de la inflación en los resultados.
La lista anterior es probablemente difícil de lograr. El juicio es necesario para evaluar muchos aspectos de la calidad de la educación, pero hay más razones por las cuales es muy difícil usar el juicio subjetivo en un sistema de evaluaciones a gran escala. Una de ellas es que a diferencia de otras áreas, por ejemplo medicina, no tenemos un consenso sobre lo que deberíamos ver cuando observamos un salón de clases. El segundo, ha sido el foco de algunos trabajos en economía: es mucho más difícil usar el juicio subjetivo en el sector público porque los evaluadores tienen menos razones para evitar el favoritismo. Una tercera razón, es que este tipo de evaluación es costoso. Una cuarta, es que la investigación sobre cómo se debería hacer esto es limitada. Sin embargo, es importante tratar a los sistemas de rendición de cuentas como un “trabajo en progreso”. Este debe ser monitoreado y evaluado cuidadosamente y refinado tanto como se necesite.
Esperamos, a partir de esta corta entrevista con el profesor Koretz, haber suscitado en nuestros lectores preguntas, dudas y reflexiones acerca de los sistemas de rendición de cuentas basados en pruebas como las que aplica el ICFES. Quisiéramos enriquecer esta discusión con sus comentarios a través del foro que hemos para este fin y al que puede acceder mediante el siguiente vínculo: http://www.icfes.gov.co/investigacion/forum/
Adicionalmente, la conferencia completa de Daniel Koretz y su presentación se encuentra disponible en http://www.icfes.gov.co/investigacion/seminario-internacional-de-investigacion-sobre-calidad-de-la-educacion/ano-2012 El libro “Measuring up: What Educational Testing Really Tells Us” lo pueden encontrar en http://www.hup.harvard.edu/results-list.php?search=koretz
