El Observatorio de la Universidad Colombiana




Riesgosa subjetividad en pruebas para la acreditación: Mauricio Sánchez – Oct/20

En su artículo, titulado “El sentido de la autoevaluación institucional y el riesgo por tantas apreciaciones”, el académico de la U. de Antioquia, Mauricio Sánchez Puerta, advierte de posibles riesgos en el proceso de acreditación CNA, derivado de los últimos lineamientos.

El Consejo Nacional de Acreditación, CNA, ha presentado a la comunidad académica colombiana la propuesta de Aspectos a evaluar con la que completa la actualización del modelo de acreditación propuesta en el Acuerdo del Consejo Nacional de Educación Superior 02 del 1 de julio de 2020.

Lea: CNA pone en consideración guía de aspectos por evaluar en acreditación de IES

Lea: La propuesta del CNA de Guías para la acreditación de programas

Estos aspectos resultan desconcertantes por la enorme cantidad de apreciaciones que traen y el mensaje eso trae. Se comparten tres ideas al respecto.

  1. La forma de los aspectos rompe la pauta acostumbrada y puede confundir

En los modelos de acreditación anteriores se entendía que la evidencia tenía maneras de manifestarse: documentos, estadísticas o apreciaciones. Esta clasificación guardaba correspondencia con la empleada en auditorias de diverso tipo.

En la propuesta actual, la forma de la evidencia es del todo indiferente y se pide en genérico, sin restricción a un asunto o bien, cuando se detalla, se expresan algunas restricciones menores, que no permiten orientar bien la labor de recopilación de evidencias en la IES y al tiempo derivan en dificultades para formar evaluadores que cumplan adecuadamente la labor de pares, quienes deben entender y verificar la evidencia.

Con estas confusiones (de IES y pares), se corre el riesgo de afectar la objetividad de la evaluación de los pares. El asunto puede solucionarse si en el documento del modelo se unifican las expresiones y se mantiene un tipo de evidencia reconocido para adelantar procesos de evaluación, auditoria o similares. Será el CNA quien elija y refiera la fuente de la tipología más adecuada para la acreditación.

Y una vez definidos los tipos (que pueden ser los tres habituales: documentos, estadísticas o apreciaciones), es deseable estipular si se trata de un bueno pensar la disponibilidad cronológica o la secuencia temporal de la misma (transversales o longitudinales): (1) evolución y cambio o (2) estado en un momento dado y contraste contra un baremo de estándares estipulados por la institución o terceros reconocidos por ella.

La confusión también ronda la forma en la que se pide hablar de estudios. A veces importa solo referirlos (se piden estudios); otras en cambio, solo piden una de sus partes (los resultados de los estudios). Sin embargo, con mayor frecuencia se pide “Análisis sistemáticos y periódicos”. El asunto podría solucionarse si se pide de una única manera, por ejemplo: resultados de los análisis sistemáticos y periódicos.

A continuación, se presenta una tabla con algunas expresiones muy similares presentes en el documento que vale la pena unificar.

Característica Expresión
2. Orientaciones y Estrategias del Proyecto Educativo Institucional o lo que haga sus veces. Evidencias de acciones…,
4. Buen Gobierno y Máximo Órgano de Gobierno Análisis sistemáticos y periódicos…,
6. Rendición de Cuentas. Evidencias documentales, testimoniales y estadísticas…,
14. Procesos de Autorregulación Evidencias del impacto…,
19. Componente de Interacción y Relevancia Social. Señalar las evidencias de evolución…,
21. Formación para la Investigación, Creación e Innovación. Evidencias que ilustren sobre…,

Evidencias sobre…,

23. Institución y Entorno Evidenciar los aportes…,

Evidenciar la presencia…,

37. Egresados y Programas Académicos Evidencia de los mecanismos y estrategias…,

Estudios y consultas…,

32. Interacción Académica de los Profesores Resultados de los estudios…

.

  1. La primacía de las apreciaciones en la propuesta de Aspectos a evaluar es cuestionable

De una parte, se refuerza el mensaje de la importancia de las valoraciones de los involucrados sobre un servicio, bien o actuación que les concierne. Las IES (y programas) que se acreditan deberán implementar consultas constantes sobre el cumplimiento de la promesa de valor (Acuerdo CESU 02, Artículo 4 literal e. Integridad).

Sin embargo, las consultas debieran revisarse en conjunto con muchos otros elementos. Para ello se menciona en el Acuerdo 02 que se implementará un Sistema Interno de Aseguramiento de la Calidad (SIAC) y que será su madurez lo que permitirá graduar el número de años a lograr, aunque en los aspectos no se incluya manera alguna de verificar tal grado o al menos conocer la escala la que se espera evolucione el SIAC. Asunto central en otros esquemas de gestión de calidad y que no se abordará aquí.

De otra parte, queda la sensación de renuncia o descarte de otras evidencias importantes. El documento que se imprime para disponer del modelo completo de acreditación debe tener límite. Lo que obliga a dejar fuera muchas propuestas de aspectos para incluir las apreciaciones en su lugar.

En la propuesta se identifican 78 de 206 Aspectos destinados a ser apreciación y 23 a ser estudios (lo que incluye los análisis sistemáticos y periódicos).

Es llamativo que, en la propuesta de Aspectos para evaluar programas, sobre los cuales también se adelanta consulta a la comunidad académica, apenas se reportan ocho (8) Aspectos de apreciación y uno (1) de estudios, del total de 68 aspectos.

Resta señalar que la volatilidad de las apreciaciones se ha documentado como un asunto que limita su peso en las ponderaciones o la importancia que se le asigna para aportar a la revisión general de la institución. Dicho de otro modo, si se tienen datos o apreciaciones, es recomendable inclinarse por los datos.

Esta experiencia de darle grado de importancia a la evidencia no es nueva. De hecho, es una práctica común en disciplinas que tienen que tomar decisiones que impactan al colectivo y tratan de tomar decisiones soportadas o basadas en evidencia antes que en atributos cargados de gran incertidumbre.

Así en salud, se revisa la calidad de la evidencia o el grado de confianza en los resultados de investigación; mientras que en políticas públicas, se interesa por lo que resulta útil para tener un mejor pronóstico y mayor precisión en la formulación de soluciones a problemas públicos.

  1. Otra fuente de confusión: las ideas, expresiones y conceptos de interés

Las apreciaciones tienen atributos negativos derivados de los sesgos cognitivos (fallos en el procesamiento de la información) y de los sesgos de los instrumentos empleados para recopilarlas, son cambiantes o varían en función de:

  • la información disponible, las personas ajustan su apreciación al marco de información, nueva información altera la respuesta,
  • las formas de presentar la misma pregunta, las personas reaccionan al tono y el momento de ser consultadas,
  • el grado de exposición del consultado, las personas modifican el comportamiento para quedar bien ante el colectivo o evitar figuraciones indebidas (las tensiones son entre anonimato-identificación, individual-grupal, entre otras…),
  • el estado de ánimo de los involucrados, la relación entre consultado e investigador influye en las respuestas,
  • la persona que sintetice, interprete, y exponga los resultados para validarlos con los consultados, los hallazgos y su puesta en común se interpretan como una nueva consulta y puede dar lugar a cambios o nuevas apreciaciones.
  • la relevancia como fuente para hablar del tema, las personas evitan decir que no saben y suelen entregar respuestas, incluso cuando desconocen completamente el asunto.

Estas situaciones hacen parte de lo que se conoce en la literatura como “error total de las encuestas”, que incluye otras  condiciones técnicas como el muestreo.

Entonces, con estos pocos asuntos se revisar el reto que imponen los aspectos propuestos por el CNA.

Imagine consultar a las personas o grupos de interés (de la institución o externos) sobre conceptos que no resultan simples ni mucho estáticos, como Formación Integral:

“Apreciación por parte de la comunidad académica en relación con la existencia de orientaciones y estrategias para el fomento de la formación integral de los estudiantes y el fortalecimiento de la comunidad académica en un ambiente institucional adecuado e incluyente.” Característica 3. Formación Integral y Construcción de Identidad.

O mejor, proponer una consulta que relacione y valore expresiones de complejidad mayor a la cotidianidad, ahora no solo formación integral sino su relación con el pensamiento crítico:

“Apreciación por parte de los grupos de interés de la Institución en relación con las evidencias que permiten corroborar ante la sociedad que sus graduados reciben una formación integral y desarrollo de su pensamiento crítico.” Característica 3. Formación Integral y Construcción de Identidad.

O bien solicitar que los consultados se expresen múltiples asuntos desde múltiples perspectivas.

“Apreciación por parte de la comunidad académica en relación con los estudios orientados a evaluar la pertinencia del Proyecto Educativo Institucional con las dinámicas y prácticas para la organización, toma de decisiones, administración, evaluación y autorregulación de la docencia, investigación y extensión o proyección social, así como del bienestar, la internacionalización y los recursos físicos, tecnológicos y financieros.” Característica 2. Orientaciones y Estrategias del Proyecto Educativo Institucional o lo que haga sus veces.

A modo de cierre

Es claro que cada apreciación se obtiene desde un conjunto de preguntas a realizar (algunos conjuntos con más de diez asuntos o ítems, si es que se piensa en un cuestionario).

Lo que no es tan claro y a menudo se pasa por alto, es que la comprensión de las preguntas depende del conocimiento disponible y del acercamiento de cada consultado a ese conocimiento.

Muchas de las expresiones a revisar no se han unificado o, más complejo todavía, corresponden a principios. Entonces, la reflexión para concretarlos o llevarlos a la práctica es un desafío constante. Dos casos son ilustrativos:

Primero, la apreciación sobre la integridad, que es un principio de actuación en camino para concretarse:

“Apreciación por parte de los miembros de la comunidad universitaria acerca del liderazgo, integridad e idoneidad de los responsables de la dirección de la institución y sus dependencias.” Característica 9. Capacidad de Gestión

Acercarse a lo que significa y como usar esa definición (en todos y cada uno de los ámbitos de la dirección universitaria) es un asunto sobre el que se carece hoy de un mediano acuerdo. Así lo demuestra el reciente estudio europeo sobre la Integridad en el ámbito de la Investigación, llamado Procedimientos operativos estándar para la integridad de la investigación o SOPs4RI, por sus siglas en inglés, en donde se trata de llegar a claridades por la vía de la descomposición de ese principio, en elementos operativos o tangibles, mediante consulta a los involucrados en el tema:

e

Segundo, la apreciación sobre el fenómeno de la participación:

“Apreciación por parte de los miembros de la comunidad académica de las formas de convocatoria, selección y participación de la representación democrática de estudiantes, profesores y egresados en el máximo órgano de gobierno de la Institución, así como de los sectores de la sociedad.” Característica 4. Buen Gobierno y Máximo Órgano de Gobierno.

De modo que, la definición del fenómeno no está en debate, pero las diferentes maneras de su manifestación es lo que interesa. Así que en lugar de descomposiciones se emplean modelos.

El reto interpretativo para cada persona consultada y para quien ha de sistematizar las respuestas, consiste en estipular cuál o cuáles de los 60 modelos disponibles desde 1969 a la fecha, que sistematiza la plataforma Bang the table en seis periodos, le permite soportar su respuesta individual y elaborar una adecuada síntesis de las múltiples respuestas.

Así las cosas, la calidad de la respuesta es y será cuestionable en tanto se presentan ausencias de: simplicidad, interés o libertad de expresarla como se desee.

Con todo, le corresponde al CNA conjurar estos riesgos desde el inicio y concebir que, a mayores incoherencias en el texto del modelo, mayores serán: (1) las probabilidades de confusión de los lectores, (2) las consultas para aclarar dudas, (3) los tiempos de formación de pares e instituciones, (4) los fallos en aplicación y en general los costos para el Sistema Nacional de Acreditación en Colombia que deberá destinar tiempo y recursos a solucionar situaciones que pueden evitarse ahora.

Al tiempo, las observaciones a los Aspectos propuestos para programas y para instituciones deberían guardar consistencia, similaridades o soporte lógico común. Con los ajustes en unos se pueden mejorar los otros, de lo contrario puede darse la idea de desarticulación en el asunto.

Información de referencia: Impactos, no medidos, de nuevas normas del SAC: Mauricio Sánchez y Jessie Strobel – Oct/20

Compartir en redes