Psicothema, 2000. Vol. Vol. 12 (Suplem.2). 553-556

Antonio Valera Espín y José Antonio López Pina

La metodología utilizada para el desarrollo de la evaluación institucional dentro del marco del Plan Nacional de Evaluación de la Calidad de las Universidades (PNECU), al igual que en los países europeos que disponen de sistemas consolidados de evaluación, se sirve de la autoevaluación (self-evaluation) y de la evaluación externa (peer review). El proceso en cada una de estas fases, tal y como ha sido diseñado por el Comité Técnico de Evaluación del Consejo de Universidades, se articula en recogida de información, reflexión y valoración de la información y elaboración de informe, donde, adoptando siempre una perspectiva multidimensional de la calidad, deben aparecer también las propuestas de mejora. Pretende ser más una evaluación formativa que sumativa, es decir, que esté basada en juicios de expertos y en un sistema de indicadores múltiples y variables que permitan conocer el nivel de calidad de la Universidad pero sobre todo que orienten a la mejora. Para conseguir una visión global de la institución evaluada se recopilan datos cualitativos y cuantitativos que permitan considerar los inputs y outputs así como los procesos implicados en todas las actividades universitarias: (a) la enseñanza, que toma como referente la formación del alumno, (b) la investigación, adoptando como unidad de evaluación al departamento universitario, y (c) los servicios, cuya guía ha sido elaborada a partir del «Modelo Europeo para la Gestión de la Calidad Total» propuesto por la «European Foundation for Quality Management» (EFQM) (1999). La forma en que se lleva a cabo todo el proceso evaluativo se ajusta a tres fases diferenciadas: una fase de autoevaluación, que culmina con la difusión de un informe elaborado por los comités internos de cada titulación a evaluar, una fase de evaluación externa en la que el Comité de Expertos Externos (CEE) realiza una visita planificada a la institución, y una última fase en la que el Comité de Evaluación de la Universidad redacta un informe final basado en el análisis pormenorizado de los informes elaborados en las fases anteriores. Este trabajo no responde a la comunicación de una investigación. Es un intento de dar a conocer la experiencia de la metodología de trabajo para la realización de evaluaciones institucionales en el marco del Plan Nacional de Evaluación de la Calidad de las Universidades.

Methodology used in the evaluation of universities. The methodology used in the institutional evaluation of the universities is generally based on two main strategies: self evaluation and peer review. Following these two lines, in Spain a national plan of university evaluation has been implemented in order to assess the way in which the Spanish universities are reaching their goals. In this paper the Spanish plan of evaluation is described. Qualitative and quantitative data were collected, which allow to assess the inputs and the outputs, as well as the processes involved in the university activities: Teaching, research and services. This analysis is carried out within the European framework proposed by the European Foundation for Quality Management. The possibilities of this methodology are analyzed and discussed.

La Universidad de Murcia ha participado en las dos primeras convocatorias del Plan Nacional de Evaluación de la Calidad de las Universidades con proyectos temáticos para evaluar Química y Bioquímica (en la primera convocatoria, 1997) e Ingeniero en Informática, Ingeniero Técnico en Informática de Gestión e Ingeniero Técnico en Informática de Sistemas (en la segunda convocatoria, 1998).

Actualmente, la Universidad de Murcia está planificando ya un nuevo proyecto temático, también en el marco del Plan Nacional de Evaluación de la Calidad de las Universidades, para evaluar las titulaciones de Psicología, Trabajo Social, Matemáticas y Filosofía (B.O.E. nº 190 de 10 de agosto de 1999). La evaluación de todas las titulaciones es coordinada por la Unidad de Evaluación, que fue creada por la propia Universidad con recursos humanos y técnicos suficientes para cubrir las necesidades que plantean proyectos de esta naturaleza.

Los objetivos fundamentales que la Universidad de Murcia persigue participando en el Plan Nacional de Evaluación de la Calidad de las Universidades son:

A) Concernientes a las titulaciones objeto de evaluación:

• Acceder a información objetiva, fiable y válida acerca de la calidad de las actividades docentes, de investigación y de gestión universitaria.

• Analizar la información recogida, con la finalidad de detectar con rigor suficiente los puntos débiles y fuertes que caracterizan la actividad de las titulaciones.

• Dar a conocer, tanto a las entidades que contribuyen a la financiación de la Universidad de Murcia, como a los usuarios directos de los servicios universitarios (estudiantes y familiares, empresas y otras instituciones interesadas) y a la Sociedad (Consejo Social), el nivel de calidad alcanzado por las titulaciones objeto de evaluación y de su esfuerzo por mejorar sus prestaciones.

• Posibilitar la definición de planes estratégicos de actuación orientados a mejorar el nivel de calidad de la docencia, la investigación y los servicios de las titulaciones objeto de evaluación.

B) Concernientes a la comunidad universitaria

• Generar un mejor conocimiento, por parte del entorno social de la Universidad de Murcia, de los niveles de calidad alcanzados por la Institución.

• Contribuir a generar en la comunidad universitaria de Murcia una cultura de evaluación de la calidad orientada a la mejora de los servicios que presta a la sociedad.

Fases del proceso de evaluacion institucional

Para evaluar las titulaciones propuestas en este proyecto se siguen las directrices emanadas de la Guía de Evaluación (1999), elaborada por el Comité Ejecutivo del Plan Nacional.

La metodología utilizada para realizar una evaluación institucional dentro del Plan Nacional de Evaluación de la Calidad de las Universidades (PNECU) combina la autoevaluación (self-evaluation) y la evaluación externa (peer review).

Para llevar a cabo el proceso evaluativo, la guía de evaluación del PNECU propone cuatro fases diferenciadas que culminan con un informe cada una de ellas: informe de autoevaluación, informe del Comité de Expertos Externos, segundo informe de autoevaluación o informe final de autoevaluación e informe final del Comité de Evaluación de la Universidad.

A través de la autoevaluación se pone en marcha un proceso interno para que la propia comunidad universitaria (es decir, miembros de la titulación a evaluar) reflexione sobre la realidad en su institución. Una de las funciones de esta autoevaluación es implicar a la comunidad en la mejora de la calidad, porque el objetivo último de una evaluación debe ser siempre conseguir mejoras.

Por tanto, el primer paso en la evaluación de una titulación es crear los Comités de Autoevaluación. Habitualmente, los miembros que componen este comité se decide en Junta de Centro. Sus principales tareas serán:

- Analizar la guía de evaluación. Estudiarla, comprender el proceso evaluativo a seguir, e incluso, si se considera conveniente modificar o ampliar algunas de las propuestas de la guía.

- Analizar los datos e informaciones suministradas en la titulación.

- Formular juicios de valor y elaborar un informe claro, equilibrado y constructivo acerca de la calidad de la unidad evaluada, de su gestión y del proceso de autoevaluación seguido. Debe concluir con una síntesis de puntos fuertes y débiles, así como de la explicitación de los objetivos y acciones pertinentes para la mejora.

El autoinforme deberá basarse, además de en la información objetiva cuantitativa y cualitativa proporcionada por la Unidad de Evaluación, en información bien documentada basada en opiniones de miembros de la comunidad universitaria, inferencias/juicios de valor del Comité de Autoevaluación apoyadas en las informaciones anteriores e inferencias/juicios de valor del Comité de Evaluación sin apoyo de información documental.

El PNECU ha puesto de manifiesto lo diseminada y dispersa que se encuentra la información en las universidades (Secretaría General del Consejo de Universidades, 1997). Resulta un trabajo arduo y tedioso completar las tablas e informaciones que la Guía de Evaluación propone. Por este motivo la Unidad de Evaluación y el Servicio de Informática de la Universidad de Murcia tienen en proyecto el desarrollo de una aplicación que permitirá conseguir la información necesaria para futuras evaluaciones institucionales de forma totalmente automática.

La evaluación externa la lleva a cabo un Comité nombrado por el Consejo de Universidades. Se intenta que sus miembros tengan experiencia académica, investigadora, profesional y evaluativa. Normalmente, los perfiles posibles de evaluadores externos son:

- Experto académico, una persona de prestigio en el ámbito de la titulación a evaluar,

- Representante del mundo empresarial que esté relacionado con la titulación,

- Experto en metodología de enseñanza y evaluación universitaria.

Las tareas del Comité de Expertos Externos son:

- Estudio de la guía de evaluación.

- Analizar el autoinforme del Comité de Autoevaluación.

- Visitar la Institución con el fin de efectuar observaciones in situ y poder realizar entrevistas y audiencias con los diversos colectivos, además de estudiar documentación adicional.

– Formular juicios de valor y redactar el informe.

Una vez que el CEE ha emitido su informe deberá redactarse el Informe de Evaluación de la unidad evaluada. Este informe debe contener una síntesis de la valoración de las diferentes dimensiones de la unidad evaluada, una relación de los principales puntos fuertes y débiles y una identificación de las acciones a emprender que permitan la profundización en los puntos fuertes y la resolución o mejora de los puntos débiles.

El último informe del proceso evaluativo le corresponde al Comité de Evaluación de la Universidad, que en Murcia está formado por el Rector, los vicerrectores, el gerente y expertos en evaluación institucional de la Universidad. Este informe debe contener una síntesis de los informes anteriores y debe comprometer al Comité a que con los resultados del proceso se aprueben las propuestas de mejora que se sugieren y se realice un seguimiento y supervisión de las acciones de mejora.

Ambito de la evaluación

El ámbito de la evaluación abarca todas la actividades de la titulación:

– Enseñanza,

– Investigación,

– Gestión.

En cuanto a la enseñanza, aunque la Guía propone a la titulación como unidad de análisis, en algunos casos puede resultar más efectivo el Centro. En la Universidad de Murcia, por ejemplo, en la segunda convocatoria del PNECU aunque se evaluaron tres titulaciones de la Facultad de Informática, sólo se emitió un informe (la unidad de análisis ha sido el centro). Sin embargo, en la primera convocatoria del PNECU se emitieron informes diferentes para las titulaciones de un mismo centro (Bioquímica y Química).

Para proporcionar al Comité de Autoevaluación las variables, datos e indicadores necesarios para emitir el Autoinforme se les proporcionan tablas con las informaciones propuestas en la Guía del PNECU y se diseñan encuestas que se aplican a todos los colectivos implicados en la titulación: el responsable del centro, los directores de departamento, los investigadores principales en los grupos de investigación, todos los profesores que imparten clases en la titulación, el personal de administración y servicios, los alumnos y los egresados.

Los aspectos de la enseñanza que la guía propone para su estudio:

Los aspectos de la investigación que la guía del PNECU propone para su estudio:

Las unidades de evaluación en el ámbito de los servicios son aquellos servicios directamente asociados a la titulación evaluada. La guía para evaluar los servicios se basa en el Modelo Europeo de Gestión de la Calidad Total (EFQM), aunque se han incluido dos puntos nuevos, el primero y el último, un agente facilitador y un resultado:

Comité Técnico de Evaluación (1999). Guía de Evaluación para el Plan Nacional de Evaluación de la Calidad de las Universidades. Consejo de Universidades.

Fundación Europea para la Gestión de la Calidad (1999). Modelo EFQM de Excelencia 1999. Club Gestión de la Calidad.

Secretaría General del Consejo de Universidades (1997). Informe sobre los Resultados de la Primera Convocatoria del Plan Nacional de Evaluación de la Calidad de las Universidades. Consejo de Universidades.