Manifiesto Evaluación

Tambien puede bajar este documento en una versión pdf  con sus firmantes originales, y el boletín de prensa sobre su publicación el 7 de abril 2014.

EL MODELO DE EVALUACION DE LAS UNIVERSIDADES ECUATORIANAS

APUNTES CRITICOS PARA EL DEBATE

 

“No cabe duda que el evaluador, cualquiera que fuere, debe ser evaluado y que una de las vías inalienables con las que cuenta la universidad para ejercer esa función es la de la libertad de sus claustros”

Arturo Andrés Roig[1]

Los académicos y académicas abajo firmantes, interesados en reflexionar críticamente sobre las reformas universitarias en curso, respaldan este documento preparado por el Grupo de Trabajo Universidad y Sociedad sobre el modelo de evaluación y acreditación del CEAACES, presentado en los últimos meses de 2013. La evaluación es un hecho muy importante para la Universidad ecuatoriana. De hecho, a nuestro juicio, toda la comunidad universitaria ecuatoriana considera que las evaluaciones son una de las herramientas para garantizar la mejora continua del sistema de educación superior. Pero al mismo tiempo, observamos con preocupación el modelo de universidad “ideal” que subyace a este proceso de evaluación y acreditación.[2] No estamos de acuerdo con el modelo disciplinario y vertical adoptado. No es solo que discrepamos con tal o cual indicador o con tal o cual resultado de la evaluación. A nuestro criterio es necesario someter a escrutinio y debate público los criterios subyacentes de “calidad” que presupone el modelo adoptado, el conjunto de parámetros usados y su ponderación. Pensamos que la evaluación debe basarse en el cumplimiento de los aportes y compromisos de la Universidad con la sociedad y no en una calidad mal definida y mal medida. Este documento ofrece nuestro análisis crítico cuyo objetivo es promover ese debate abierto y sostenido tan necesario en estos tiempos de reforma.

 

1. ¿Quién debe evaluar a las universidades? El modelo propuesto por el CEAACES no toma en cuenta la pluralidad de visiones para la evaluación de la educación superior. Las universidades tenemos sistemas de evaluación de la docencia que incorporan, entre otros, encuestas a los estudiantes que valoran al docente de cada asignatura. Ni uno solo de los indicadores del modelo del CEAACES toma en cuenta esas evaluaciones docentes realizadas por los estudiantes. Ni uno solo de los indicadores del CEAACES pregunta a los colegios profesionales ni a los egresados, su opinión sobre la calidad de la formación y de la vida universitaria. Ni uno solo de los indicadores indaga sobre la opinión de los docentes, de las autoridades o de los trabajadores de las universidades ¿Es lícita una evaluación que no toma en cuenta la opinión de la comunidades universitarias? Los resultados del proceso de auto-evaluación universitaria que precedió a la evaluación del CEAACES no se consideran como parte de los parámetros que sirven para clasificar a las universidades. A nuestro juicio, un proceso de evaluación debe considerar a todos los actores de la universidad ecuatoriana, a los miembros de la comunidad universitaria, de la sociedad y del gobierno. No puede ser una evaluación unilateral de uno solo de los actores con su única visión y sus únicos requerimientos, por más legítimos que sean. El modelo universitario del CEAACES presupone que los criterios de evaluación de un solo actor, el propio CEAACES, completa el arco de criterios relevantes para la evaluación que las universidades ecuatorianas necesitamos. No solo que las universidades no participaron en definir el modelo sino que ni siquiera la información sobre las herramientas de análisis o sobre las ponderaciones de los indicadores fue conocida oportunamente por la comunidad académica ecuatoriana. Instituciones complejas, con objetivos variados, animados por visiones pluralistas, solo pueden ser evaluadas en un proceso de retroalimentación constante y multilateral
2. ¿Para qué evaluar? El modelo del CEAACES se orienta a la creación de un “ranking” que categoriza a las universidades ecuatorianas en un orden jerárquico y según moldes comerciales. Estas categorías jerárquicas nacieron en el mundo del deporte y se trasladaron al campo de la evaluación universitaria, de la producción de conocimientos, de la investigación y la docencia; para volverse omnipresentes con los esfuerzos estatales por controlar y ajustar a las universidades a sus prioridades y mecanismos burocráticos de seguimiento.[3] Los rankings son el resultado obvio de modelos homogenizantes y unilaterales que terminan desplazando la diversidad e ignorando el contexto y las mejores tradiciones históricas de las universidades ecuatorianas y latinoamericanas. Estos rankings están sometidos a numerosas críticas por su vínculo con intereses comerciales de las empresas que se encargan de elaborarlos y, al mismo tiempo, de vender servicios de consultoría para clasificar en ellos a las universidades.[4] A pesar de los problemas identificados en estos sistemas, el CEAACES toma esa bandera y aplica medidas y reformas que ya ha mostrado importantes sesgos y  debilidades. Estudios en varios países con la educación superior jerarquizada, a la cual apunta el modelo CEAACES, demuestran que, a pesar de incrementos generales en el acceso, la distinción entre universidades “de elite” y universidades “regulares” termina polarizando y fomentando desigualdades, socio-económicas, culturales e incluso raciales. [5]
3. Según el modelo del CEAACES, la medida para jerarquizar el ranking de universidades es “la calidad”. Mientras mayor calidad tiene una universidad más alto en la jerarquía del abecedario: las universidades son calificadas como “A”, “B”, “C” y “D”. Llamativamente, el CEAACES no dispone de un documento que discuta, exponga y defina qué entiende por calidad. Los documentos oficiales del CEAACES se limitan a utilizar sinónimos como “excelencia” o “nivel internacional”.[6] ¿Qué entiende entonces, en la práctica, incluso sin definirla, a partir de los indicadores que utiliza y los pesos que otorga a dichos indicadores, por “calidad” universitaria?
4. Para el modelo de evaluación del CEAACES “calidad” es igual a cierto tipo de “productividad”. Alrededor de un sexto de los puntos del rankeo universitario corresponde exclusivamente a un criterio de “producción científica” que se encuentra, en última instancia, determinado por el hecho de que la revistas en las que se publica figuren en las bases de datos SCIMAGO (Scopus), o del ISI Web of Knowledge, es decir, un par de empresas transnacionales de la distribución de las publicaciones académicas y no, como cabría esperarse, de su impacto en la comunidad académica y en la sociedad ecuatorianas. De las más de 5000 revistas académicas de América Latina, solo 242 aparecen en la indexación del ISI Web of Knowledge, la base de datos que arroja más puntajes en el modelo de evaluación del CEAACES. De las más de 18,000 revistas  registradas en esa base de datos, las revistas latinoamericanas, por lo tanto, representan menos de 0.0135%. Además, el ranking de publicaciones tanto del ISI Web of Knowledge como de SCOPUS sufre del problema de la endogamia: solo las citaciones en las publicaciones ya existentes cuentan para la inclusión y posición en el ranking. Estas publicaciones, índices y sistemas de citación subestiman la presencia de países e idiomas periféricos o los temas relacionados con las prioridades de los países pobres.^[7]Está demás decir que hay un creciente movimiento mundial de cuestionamiento a los sistemas de citación y de calificación de las “revistas de lujo”, que han sido adoptadas por las burocracias estatales para calificar la calidad y pertinencia de las investigaciones.[8] Grandes revistas de alto impacto en debates intelectuales actuales, por ejemplo Annales. Economie, Société, Civilisations, que revolucionó el campo de los estudios históricos en el siglo XX, no se encuentra en la base de datos de SCOPUS. Otras importantes revistas de ciencias sociales como Actes de la Recherche en Sciences Sociales o New Left Review, califican muy bajo en los rankings de esa base de datos creada con propósitos comerciales antes que académicos. En nuestro medio, muy buenas revistas, con una probada trayectoria académica como Ecuador Debate o Nueva Sociedad,  no tienen el sistema de revisión por pares y por tanto no calzan en las bases de datos usadas ortodoxamente por las burocracias estatales. En síntesis, se toma un criterio cada vez más cuestionado, que además contribuye a una subestimación de las ciencias sociales y humanidades[9], como si fuera el único capaz de asegurar la calidad del debate científico. El uso de estas bases de datos es la expresión de un modelo de pensamiento colonizado, que trasplanta los criterios de eficiencia y competencia empresarial al mundo académico, un mundo que requiere ante todo de la colaboración y la interacción. ¿Por qué adoptar un sistema de incentivos que premia publicar en el extranjero y que castiga el aporte de los académicos en revistas locales, de provincias pobres o de universidades pequeñas contribuyendo a la marginalización de la producción científica regional pasando por alto o subestimando importantes índices regionales, de alta calidad, y de acceso abierto?
5. Para el modelo del CEAACES, la calidad coincide con la eficiencia administrativa. En los criterios de evaluación del CEAACES, casi un tercio de los indicadores adoptados miden la organización y la infraestructura; aunque estos supuestamente se refieren al entorno de aprendizaje de las instituciones de educación superior, finalmente miden los recursos financieros de cada Universidad. Este no es un problema solo del ranking del CEAACES sino de todos los rankings internacionales, donde se han probado constantemente fuertes correlaciones entre la prosperidad de las universidades y su posición en los rankings.[10] No es casualidad que las universidades más caras, con las bibliotecas o las instalaciones más costosas, tengan ventajas enormes sobre las demás. Harvard tiene un gasto por estudiante estimado en 160 mil dólares al año mientras la Universidad Central de Quito tiene una inversión de 3 mil dólares.[11] Dadas las diferencias de infraestructura y recursos, así como las desigualdades territoriales, ¿conviene adoptar un modelo que privilegia las universidades de las grandes ciudades sobre las universidades de provincias, que favorece a las universidades privadas con altos costos para sus estudiantes, mientras castiga a las universidades públicas? Si añadimos a esto que se propone realizar mayores inversiones en las universidades de las más altas categorías, las desigualdades entre universidades y sus estudiantes se incrementarán.
6. Los criterios de medición administrativa se extienden desmedidamente en el modelo del CEAACES, devaluando factores académicos centrales como es la pertinencia de la docencia. La pertinencia y la competencia docente no tienen ningún peso en el sub-criterio “academia,” comparado con una sobrevaloración de los títulos. Al definir que el posgrado del docente cuenta por el 40% del eje de “academia” en el modelo de evaluación, ¿se asume que el título de PhD implica necesariamente mayor competencia académica y docente? Nadie discute que es conveniente que las universidades faciliten el perfeccionamiento de sus docentes y que éstos se especialicen en programas de posgrado. Pero al convertirlo en el mayor indicador de calidad académico, se subestiman otros factores académicos y docentes. ¿No tenemos cientos de casos de excelentes profesores, artistas, científicos e investigadores que carecen de dichos títulos? ¿No demuestra esto que la equivalencia entre títulos y calidad dista mucho de ser cierta? Muchas carreras y estudios de posgrado profesional, como medicina o administración empresarial, requieren valorar tanto la experiencia práctica como la capacidad de investigación. Los docentes de esas carreras deben estar en contacto con los problemas prácticos del ejercicio profesional ¿No conviene, pues, que en muchas de estas carreras una parte importante de los docentes tengan contacto directo con la vida económica y social concreta? Se trata, pues, de una forma distorsionada de otorgar importancia desmedida al título de cuarto nivel en la docencia universitaria.
7. El mismo criterio administrativo predomina cuando se equipara calidad al número de profesores a tiempo completo. ¿En qué estudios se basa el CEAACES para decidir que 60% es la proporción óptima de profesores a tiempo completo para todas las universidades ecuatorianas independientemente de las carreras que ofrezcan? Igual en las politécnicas que en universidades que tienen carreras de humanidades. ¿Por qué no 70% ó 50%? ¿En qué universidad de clase mundial encontraron ese porcentaje? Un problema crítico en muchas de las universidades “de clase mundial” –  con altos porcentajes de profesores a tiempo completo  – es la desconexión de este profesorado con los problemas prácticos y las necesidades urgentes de la sociedad a la que se deben. Estos temas no pueden ser resueltos por un criterio administrativo sino que deben ser analizados atendiendo a las características de cada carrera, las necesidades concretas de la sociedad y las competencias adquiridas por los docentes. En los criterios de “calidad”, el modelo del CEAACES ha privilegiado encontrar variables fácilmente entendibles por administradores antes que criterios de pertinencia y adecuación a los problemas que la universidad debe resolver.
8. Al optar por este modelo de universidad, el Estado desconoce otros tipos de universidad posibles y legítimos, que valoran criterios de participación, deliberación y vínculo con la sociedad. Si el modelo de evaluación asigna un alto puntaje a las publicaciones de docentes en aquellas revistas que dos empresas transnacionales de distribución califican como “de alto impacto”; y no se asigna valor alguno a la participación docente, estudiantil y de trabajadores en el gobierno universitario; ¿qué tipo de universidad se está privilegiando en el modelo del CEAACES? Ese modelo subvalora también la relación de la universidad con la sociedad a través de sus programas de vinculación con la colectividad que solo cuentan por el 2% del total y que se restringen al seguimiento a egresados. Allí donde la evaluación del CONEA en el año 2009 tenía un criterio de “estudiantes” que incluía la existencia o no de cursos de nivelación, la participación en el cogobierno y la presencia de becarios, la evaluación del CEAACES tiene nada más que la “eficiencia académica” donde lo que cuenta es la tasa de retención de estudiantes y el número de graduados. En todos ellos está ausente una visión integral de bienestar estudiantil, pues la infraestructura se coloca como un elemento central dejando de lado las condiciones que propicien el acceso y la permanencia de los estudiantes, incluyendo la diversidad de la composición social de los estudiantes. En cuanto al sistema de becas, la LOES establece que al menos el 10% del total de estudiantes regulares de escasos recursos económicos obtengan una, pero este elemento, a pesar de ser central en un país desigual como el nuestro no se considera en la evaluación. Olvidar estas realidades lleva a perpetuar las desigualdades entre quienes acceden, quienes logran permanecer en la universidad y quienes logran graduarse.
9. Hemos realizado una crítica al modelo de evaluación del CEAACES, a la jerarquía que presupone, a la comprensión estrecha y administrativa de “calidad” que quiere imponer ante la comunidad universitaria del Ecuador y a los indicadores utilizados que deforman los criterios que pretenden medir. ¿Cómo se pueden determinar modelos alternativos de evaluación que no reproduzcan estos errores perversos?Se requiere una amplia discusión nacional y universitaria sobre la calidad para ir ajustando criterios. Pero sí podemos afirmar sin temor a equivocarnos que sería un inmenso error seguir asumiendo los criterios de calidad del CEAACES como los criterios que guíen el porvenir de las universidades ecuatorianas. El CEAACES ha recopilado información estadística importante que puede ser usada provechosamente en el análisis de la calidad; pero tomar esos datos como la medida de la “calidad” no es avanzar en lograrla sino desfigurar su sentido. Los principales criterios de calidad a nuestro juicio deberían relacionarse con la pertinencia para la sociedad, con la participación, el cogobierno y la administración democrática de las instituciones de educación superior, y con democratización de los saberes y la construcción de capacidades sociales para la convivencia cívica entre personas críticas.
10. La calidad no puede medirse con criterios únicamente cuantitativos ni con la opinión de un solo actor. Por eso hay que distinguir entre la acreditación y la evaluación de la calidad universitaria. La acreditación es un proceso por el cual se definen los estándares mínimos que una universidad tiene que cumplir para ser considerada universidad. Esos criterios pueden ser reducidos a indicadores cuantitativos o de check list, y deben vincularse con los requisitos de la Ley y ciertos estándares de infraestructura. La calidad universitaria, en cambio, requiere múltiples análisis, indicadores cualitativos y cuantitativos, discusiones sobre pertinencia y participación de toda la comunidad universitaria y nacional. Requiere, entre otras cosas, encuestas a egresados, a estudiantes y a docentes, necesita estudios de mercado laboral, análisis de las prácticas pedagógicas en el aula, así como una revisión detallada de investigaciones concretas realizadas por las universidades y sus docentes. Estudios multidisciplinarios sobre la calidad de la enseñanza universitaria serán indispensables y útiles para mejorar nuestras variadas instituciones de educación superior y apuntar a sus verdaderas y más profundas debilidades, pero también para apuntalar sus grandes y a veces ocultadas fortalezas.
11. Para evaluar es fundamental distinguir entre las capacidades y roles que cumplen las universidades y que no cumplen las empresas. La calidad es fundamental, pero su definición no puede estar desligada de la pertinencia, de la recuperación de los vínculos, relaciones y sentidos de una actividad educativa que no puede confundirse con la “productividad” de profesionales, sino con las virtudes de la convivencia cívica, de la cohesión social, y del conjunto de los bienes públicos que proveen las universidades. Es muy importante no lanzarse precipitadamente a la evaluación de carreras sin acordar criterios y modelos de evaluación con las comunidades universitarias del país.

 

Puedes ver las adhesiones, firmar el documento o unirte a nuestro grupo de Facebook.

 

[1] Arturo Andrés Roig 2001. La universidad en el año 2000. Quito: Fundación Hernán Malo – Corporación Editora Nacional. Debate Universitario No. 7, p. 41.

[2] El texto que sigue se basa en los procesos de evaluación de las universidades por el CEAACES en 2013, y particularmente en su Informe General sobre la Evaluación, Acreditación y Categorización de las Universidades y Escuelas Politécnicas y la matriz “»Indicadores, variables y evidencias para la evaluación de las IES año 2013”, ambos disponibles en la página de web http://www.ceaaces.gob.ec/sitio/

[3]Osvaldo Barsky 2013. Reflexiones sobre los rankings internacionales de las universidades. En Ecuador Debate. No. 90. Quito: CAAP. Diciembre.

[4] I. Ordorika y M. Lloyd 2013. A decade of international university rankings: a critical perspective from Latin American. En P. Marope, P. Wells y E. Hazelkorn (eds.). Rankings and Accountability in Higher Education: Uses and Misuses. Paris: UNESCO.

[5] Anthony Carnevale y Jeff Strohl. 2013. Separate and Unequal. Washington DC: Georgetown Public Policy Institute; Simon Marginson. 2014. University rankings, government and social order. En Simons, Olssen y Peters (eds.) Re-reading Education Policies. Rotterdam: Sense Publishers. Otro ejemplo de política que refuerza las desigualdades sociales y étnicas en el acceso a la Universidad es el examen de admisión que deben rendir todos los bachilleres graduados. Aunque todavía no existen estudios disponibles sobre los efectos de estas “pruebas de aptitud” en el país, los ejemplos en el mundo entero son concluyentes (ver por ejemplo la larga bibliografía compilada por la organización Fair Test – en http://www.fairtest.org/selected-annotated-bibliography-sat-bias-and-misus – que demuestra conclusivamente que los resultados del examen estandarizado para admisión en universidades estadounidenses está fuertemente correlacionado con ingresos de la familia del estudiante y también con raza). Estas desigualdades están fuertemente atadas no solo a las posibilidades económicas de los bachilleres para formarse en colegios de elite o acceder a cursos de nivelación y capacitación sobre dichos exámenes, sino también a su procedencia geográfica (rural-urbana), a redes de parentesco y amistad e incluso a condicionamientos étnico-raciales y de género que determinan en menor o mayor grado los resultados obtenidos. Frente a los concluyentes estudios que demuestran las desigualdades reproducidas por estos exámenes, la organización que prepara y administra los exámenes estandarizados en los EEUU, el College Board, ha emprendido una reforma fundamental, enfatizando la necesidad de su uso relativo y opcional.

[6] La más detallada definición oficial de la “calidad” viene en la Ley de Educación Superior promulgada el 12 de octubre del 2010. En el título V se define en términos ambiguos pero complejos el “principio de la calidad” (art. 93), para seguidamente limitar su evaluación a la determinación de “las condiciones de la institución, carrera o programa académico” (art. 94). Destaca la falta de una evaluación de la educación superior como proceso complejo inserto en un marco social más amplio, restringiendo la evaluación a condiciones institucionales que son importantes pero insuficientes. Como veremos en lo que sigue, esta limitación enmarca el proceso y modelo de evaluación del CEAACES.

[7] Ver varias referencias a estudios específicos sobre estos sesgos de los sistemas internacionales de citación en Alfonso Espinosa Ramón 1999. Ciencia y Tecnología para construir el futuro del Ecuador. Quito: Fundación Hernán Malo – Corporación Editora Nacional. Debate Universitario No. 6, p. 40-1.

[8] Dos ejemplos recientes son la “San Francisco Declaration on Research Assessment (DORA). Putting Science into the assessment of research”, 16 de diciembre de 2012, http://am.ascb.org/dora/ ; y “Science in Transition. Position Paper: Why Science Does Not Work as It Should And What To Do about It”, 17 de octubre, 2013, http://www.scienceintransition.nl/english. Recientemente, desde 2012, estas empresas privadas, que cobran altos precios a los gobiernos y universidades por sus bases de datos, han sido desafiadas por el sistema, mucho más abierto, pero no carente de dificultades, de “Google académico” que subestima mucho menos las publicaciones en idiomas diferentes del inglés o aquella producción intelectual que no está publicada en “revistas de lujo”.

[9] El sistema de puntaje por número de publicaciones y citaciones desfavorece autores en las ciencias sociales y humanidades por la manera en que la autoría funciona en las diferentes disciplinas: es norma para las publicaciones en ciencias naturales la presencia de múltiples autores, a veces hasta cientos de autores por artículo.

[10] Ver por ejemplo los análisis de universidades británicas que realizan Watson y Bowden (“Now take a look at our figures”, The Guardian, 9 nov 1999) y Brown (“Figures reveal deep inequalities between rich and poor universities”, The Guardian, 24 sept 2012).

[11] I. Ordorika, R. Rodríguez 2008. Comentarios al Academic Ranking of World Universities 2008. En UNAM. Cuadernos de trabajo de la dirección de evaluación institucional. México: UNAM. La Universidad de Sao Paulo tuvo un gasto por estudiante de 18 mil dólares y la UNAM de 9,400.

 

Puedes ver las adhesiones, firmar el documento o unirte a nuestro grupo de Facebook.