Psicothema, 2000. Vol. Vol. 12 (Suplem.2). 182-186

Julia Marta Denazis y Gregorio Oscar Glas

Esta comunicación se propone divulgar un trabajo realizado en la Subsecretaría de Gestión Pedagógica de la Facultad de Ingeniería de la Universidad de Buenos Aires cuyo objetivo ha sido el seguimiento y la evaluación de los procesos de enseñanza que se desarrollan en la misma, a la vez que difundir las primeras conclusiones sobre los puntos fuertes y débiles de la primera etapa de esta experiencia y las propuestas de mejora a realizar en el futuro. Con el objetivo de brindar un espacio de apoyo institucional a la docencia y de contar con un instrumento que permita tomar decisiones sobre la marcha de estos procesos se diseñó un sistema de evaluación interna. La línea de evaluación con la que trabajamos es de carácter cualitativa, en la medida en que intenta proporcionar información para la formulación de mejoras en las propuestas de enseñanza a partir de la comprensión de las prácticas docentes. No ha sido nuestro objetivo realizar generalizaciones estadísticas sino que, tratamos de dar significados a las prácticas docentes dentro del contexto institucional de la Facultad de Ingeniería. Nuestro diseño busca la integración de diversas fuentes: la opinión de los estudiantes, de los docentes y de diferentes documentos, se pretende que cada una de las fuentes, que son y serán objeto de indagación, aporten datos que serán relacionados. Sabemos que los procesos evaluativos son controvertidos y problemáticos, resulta pues de vital importancia enfatizar por encima de todo el carácter formativo de la evaluación.

Teaching processes at the Faculty of Engineering of the University of Buenos Aires. This communication sets out to disclose a work made in the Secretary’s office of Pedagogical Management of the Faculty of Engineering of the University of Buenos Aires. The objective has been the pursuit and the evaluation of the teaching processes that are developed in the same one, simultaneously that to spread the first conclusions on the strong and weak points of the first stage of this experience and the proposals of improvement to make in the future. With the objective to offer a space of institutional support to teaching and to count on an instrument that allows making decisions on the march from these processes we designed a system of internal evaluation. The line of evaluation with that we worked is of qualitative character, because it tries to provide information for the formulation of improvements in the proposals of teaching based on the understanding of the educational practices. It has not been our objective making statistical generalizations but that, we tried to give meanings to the educational practices within the institutional context of the Engineering College. Our design looks for the integration of diverse sources: the opinion of the students, the professors ones and different documents, is tried that each one of the sources, that are and will be investigation object, contributes data that will be related. We know that the evaluatives processes are controverted and problematic, is then from vital importance of emphasizing over all the formative character of the evaluation.

El seguimiento y la evaluación de los procesos de enseñanza en las instituciones de Educación Superior, pueden ser encarados de diferentes maneras: desde el análisis de la correspondencia entre los objetivos iniciales planteados por los profesores y los resultados de aprendizaje obtenidos por los estudiantes, poniendo énfasis exclusivo en los productos de la enseñanza hasta un planteo que obliga a repensar las funciones de la evaluación con respecto a los procesos de enseñanza en la Universidad y su importancia como herramienta de conocimiento, en especial para los profesores.

La evaluación es uno de los conceptos que más ha sufrido los rigores de la estrechez positivista, en este sentido Pérez Gómez dice: « El concepto de evaluación se ha restringido de tal modo que, para la mayoría de educadores e investigadores, refiere simplemente al proceso de medida del éxito de la enseñanza en términos de las adquisiciones observables de los alumnos.» (p. 426).

La evaluación es considerada comúnmente como la valoración de los resultados observables del aprendizaje académico y en lo que respecta al seguimiento y gestión docente ha cumplido una función de control y valoración de la calidad, sin que queden explicitados los criterios valorativos que sustentan la práctica evaluativa.

Tal vez establecer acuerdos posibles y considerar las disidencias necesarias respecto al seguimiento de los procesos de enseñanza debiera ser la tarea inicial. No obstante ello, en la Facultad, pareciera no haber mayor interés por parte de los docentes por la discusión de este tema en abstracto. Por lo tanto desde la Subsecretaría de Gestión Pedagógica, preferimos una estrategia que permita que del mismo proceso de evaluación iniciado emergiera la necesidad de considerar este tema.

La línea de evaluación con la que hemos trabajado es de carácter cualitativa, en la medida en que intenta proporcionar la información para la formulación de mejoras en las propuestas de enseñanza a partir de la comprensión de las prácticas docentes.

« Comprender el significado de productos complejos, a corto y largo plazo, explícitos y ocultos, requiere un cambio de orientación. Una traslación desde el énfasis en los productos al énfasis en los procesos. Los métodos cualitativos de evaluación están diseñados en gran medida para enfocar los procesos de la práctica educativa, con objeto de proporcionar la información requerida para la formulación y reformulación racional de la acción didáctica (evaluación formativa) » Pérez Gómez, 1984 (P. 429).

La medición de variables cuantitativas genera datos fiables, pero esos «datos» no pueden explicar por sí sólo los «porqués» , no responden a la pregunta: ¿que está pasando en ese escenario? Optamos pues un diseño en el que se tuvieran en cuenta, además de datos numéricos, las opiniones de los estudiantes indagadas a partir de preguntas abiertas. Los datos cualitativos resultan de un volumen dificultoso para ser interpretados, en este sentido, su agrupamiento según categorías construidas de acuerdo a dimensiones de análisis adoptadas, resulta fundamental para su comprensión. No ha sido nuestro objetivo, realizar una generalización estadística sino que, con presupuestos de la metodología etnográfica, tratamos de dar significado a las prácticas docentes dentro del contexto institucional de la Facultad de Ingeniería.

Hecha esta breve introducción, a continuación realizamos las aclaraciones pertinentes con respecto a la secuencia de la presentación: en primer lugar analizamos los propósitos del Proyecto, las premisas y supuestos de base que jugaron desde el inicio y regularon las intenciones, las características generales del modelo adoptado y fundamentalmente nos detendremos en la encuesta a estudiantes, los criterios de construcción del instrumento, las estrategias de Implementación, su procesamiento y las primeras conclusiones que se derivan de esta etapa. En segundo término no abocamos desde una mirada metaanalítica a reflexionar sobre nuestro quehacer, los puntos fuertes y débiles de la experiencia, las propuestas de modificación que surgen de esta autoevaluación, y las líneas futuras a desarrollar a partir de esta realidad. Se trata de proporcionar información sobre las características, méritos y dificultades del Proyecto así como de futuros caminos a seguir. Desde esta perspectiva la autoevaluación es orientadora para la toma de decisiones con respecto a las modificaciones propuestas.

Finalmente, y a modo de conclusión reflexionamos acerca de algunas dificultades u límites en el desarrollo de éstas prácticas evaluativas en la Universidad.

El contexto, el Proyecto y su implementación

En la medida en que este trabajo se desarrolla en situaciones reales y concretas debe entenderse en el contexto en que se generó, por eso nos parece impotente realizar algunas apreciaciones contextuales:

La Subsecretaría de Gestión Pedagógica de la Facultad de Ingeniería de la UBA, surge como sistema de apoyo institucional a la docencia desde fines del año 1994 y entre sus funciones se halla el seguimiento de los procesos de enseñanza, aprendizaje y evaluación que se desarrollan en la misma..

La evaluación de las prácticas de la enseñanza constituye uno de los tópicos de máximo interés para mejorar la calidad universitaria, por ello en la Subsecretaría, movidos por el doble objetivo de brindar un espacio de apoyo institucional a la docencia, de reflexionar sobre las prácticas de la enseñanza y de contar con un instrumento que permita tomar decisiones sobre la marcha de estos procesos, comenzamos a trabajar en un Proyecto de seguimiento de la enseñanza que busca la integración de diversas fuentes - la opinión de los estudiantes, de los docentes y planificaciones de las materias - . Este modelo fue pensado con un carácter esencialmente formativo, a pesar de que el tamaño de la Facultad constituye una limitación importante para llevar a cabo esta tarea, se pretende que el docente tenga una retroalimentación de su evaluación de modo de permitirle replantear su actividad como enseñante.

El carácter formativo de la evaluación constituye un elemento central para que el docente pueda recapacitar respecto de su propuesta de enseñanza. Este tipo de evaluación regula la acción con el objeto de mejorar y apoyar las prácticas docentes. En este sentido se pretende contribuir a que el Profesor «ajuste» su trabajo, más que controlar se trata de «intervenir a tiempo».

Consideramos que a pesar de su reducida historia y en gran parte por ello, la Subsecretaría de Gestión Pedagógica reúne las condiciones para implementar un sistema de evaluación que vaya creando desde el principio una «cultura» o un clima de evaluación que facilita su puesta en marcha, ya que esta es una de las dificultades con que se encuentra la implantación de un sistema de evaluación en las Facultades. Somos conscientes que la consolidación de la Subsecretaría y el avance en esta tarea, posibilitará resultados más consistentes para introducir las mejoras necesarias.

Características generales del modelo. Metodología adoptada

1. La evaluación de la enseñanza a través de las opiniones de los estudiantes, está enmarcada en el ámbito de un proyecto más amplio, donde la calidad se entiende como un sistema de coherencia de los diferentes elementos indagados. Cada una de las fuentes - planificaciones, opinión de lo - que serán objeto de indagación, aportarán datos que deberán ser relacionados.

2. La evaluación se centra especialmente en la función docente, relacionada con las características particulares de la Facultad de Ingeniería de la UBA. Es evidente que el Profesor Universitario no se limita solamente a esta función, sin embargo a la Subsecretaría de Gestión Pedagógica sólo le compete el seguimiento de la enseñanza de grado. Por esto, la evaluación se realizará en este campo. No se excluye la posibilidad que en el futuro se articule con la evaluación de la investigación, extensión y gestión.

3. El modelo tiene carácter esencialmente formativo. Se pretende que el docente tenga un feed-back de su evaluación que le permita, en su caso, replantear su actividad, bien en sus elementos estrictamente didácticos, como en aquellos de carácter más personal, que pueden incrementar su efecto. Consideramos que el tamaño de la Facultad dificulta considerablemente este proceso y la retroalimentación podrá realizarse a través de los Directores de Departamento.

El tratamiento de la información recogida de las tres fuentes, se realizará tanto en forma independiente como integrada, tratando de contrastar las valoraciones de los tres grupos, a fin de que pueda dar consistencia a los hallazgos y validar los resultados o analizar las discrepancias. La evaluación se realizará periódicamente por cuatrimestre, esperando incrementar también su consistencia.

La opinión de los estudiantes: (Primera etapa del Proyecto)

Dentro de las fuentes de evaluación de la función de docencia, la opinión de los estudiantes resulta una de las principales a tener en cuenta en la enseñanza superior.

Aunque consideramos que puede haber otras técnicas de evaluación para conocer la opinión de los estudiantes el instrumento básico seleccionado ha sido un cuestionario estructurado de acuerdo a varias dimensiones o bloques temáticos. Cada dimensión se halla definida por una serie de cuestiones referentes al funcionamiento de los cursos, de modo de permitir la valoración de algunas áreas consideradas básicas según la opinión de distintos sectores de la comunidad académica consultada oportunamente. La encuesta a estudiantes (implementada en los años 1996, 1997 y 1998) consta de ocho dimensiones relacionados con la planificación, modalidades de clases, estilos docentes, actividades, evaluación e infraestructura.

Los trabajos previos a la elaboración del cuestionario implicaron consultas a los Directores de los Departamentos docentes, Consejos Asesores, claustro de estudiantes, así como la consideración de modelos de encuestas de algunas universidades europeas. El diseño definitivo resultó el producto de la intervención de diferentes sectores institucionales. Si las autoridades dieron su opinión, no resultaba menos pertinente que los estudiantes lo hicieran.

Para su procesamiento se contó con el soporte informático necesario. Se ha confeccionado una base de datos que posibilita el almacenamiento de la información y la confección de informes relativos a cada materia y a cada Departamento. Se han procesado 10.902 encuestas correspondientes a los dos cuatrimestres de los años 1996, 1997 y 1998 y 1200 encuestas del primer cuatrimestre de 1999 y entregado los informes a los Sres. Directores de algunos Departamentos.

Las reuniones con los Directores de los departamentos estuvieron orientadas al análisis de las primeras conclusiones, considerando la percepción que ellos mismos tienen desde su experiencia y responsabilidad. Concediendo importancia a los problemas reales, tratando de responder a las necesidades de información para orientarlos en su labor, revalorizando aquellas cátedras que - desde los estudiantes se verían como satisfactorias y buscando modificaciones en las que no lo eran.

Los primeros resultados

El análisis de la información surgida de las encuestas da cuenta de algunos resultados generales que se reiteran en las diferentes materias, los mismos quedan graficados en la figura.

El desarrollo de este proceso permitió visualizar entre otras cuestiones que porcentaje de materias que recurren al uso de la computadora como recurso para la simulación de situaciones, resulta más bajo de lo esperado por tratarse de una Facultad que promueve la formación de competencias tecnológicas. Un análisis similar surge con respecto al bajo porcentaje de docentes que promueven la organización grupal o la resolución de situaciones problemáticas, considerando que éstas son competencias fundamentales para el ejercicio de la ingeniería.

Las respuestas de los estudiantes a preguntas abiertas del tipo «realice una breve apreciación sobre el desarrollo de la materia» y las respuestas acerca del «estilo de los docentes del curso» que significan situaciones particulares fueron tratadas en un marco de reserva con los Directores de los Departamentos o Responsables de las materias. El análisis de este tipo de respuestas (no estructuradas) comienza con el proceso de «poner en orden» la información, los datos escogidos son categorizados, y agrupados según las recurrencias.

Reflexionamos sobre el proceso

En nuestro análisis sobre el éxito o fracaso de la tarea realizada se sitúan múltiples factores, la claridad en el planteo de los objetivos, los compromisos de utilización, los desajustes metodológicos en su planeamiento, la selección y análisis de la información, a esto se suma que muchas cuestiones diseñadas al comienzo se tornaron irrelevantes, mientras que otras no contempladas resultaron de vital importancia.

Una estrategia útil a la que hemos recurrido para evaluar nuestro diseño, fue la construcción de una matriz de los procedimientos de recogida de información (Fig. 2). Partiremos para ello, de algunas preguntas iniciales que encabezan las columnas de la matriz, a saber: quien establece los procedimientos de recogida de datos, quién es le responsable de recogerlos, quien y como los procesa, en que tiempos se realizan los informes, cuáles son las estrategias de análisis, etc.

La indagación acerca del déficit del proceso de evaluación puesto en marcha se tradujo en las críticas y propuestas de reformulación para su aplicación futura, que partieron del análisis de las respuestas volcadas en la matriz y de la escucha de los actores implicados:

• Se considera que el cuestionario utilizado presenta graves inconvenientes dada su extensión y la ambigüedad de algunas preguntas. Esto ocasionó que a la hora de considerar las respuestas, algunos ítems tuvieron que anularse por su baja fiabilidad.

• Es necesario producir un mayor compromiso por parte de los Directores de los Departamentos, que permita el llenado de la encuesta por parte de los estudiantes.

• Se advierte la preocupación por la confidencialidad de la información. Algunos temores por parte de los docentes se orientaron al uso de la información.

• Otro problema fue la dificultad para establecer las bases de confianza en los resultados de la evaluación, fundamentalmente de cómo se construyen las categorías a partir de comentarios abiertos de los estudiantes.

• La infraestructura con la que contamos actualmente - medios informáticos y recursos humanos - para el ingreso de datos, confección de las bases de datos, confección de informes resulta insuficiente y se producen la demoras en su devolución.

Con base a la reflexión sobre lo realizado, nos vimos obligados a rediseñar la encuesta y los mecanismos de su implementación.

Comenzamos a trabajar en un nuevo diseño de encuesta, teniendo en cuenta entre otras cosas, la necesidad de que el número de preguntas no resulte excesivo, de facilitar el modo de respuesta, de atender a aquellos aspectos que resultan significativos para su análisis.

El método seleccionado para la recogida de datos a través de los Departamentos tiene como principal ventaja que cada Departamento trabaja con los Profesores de las materias afines al mismo, pero contó con el inconveniente de que el nivel de respuesta efectiva fue heterogénea.

Con la intención de respetar el derecho a privacidad de los docentes y encontrar una solución conjunta a los problemas, se confeccionaron diferentes informes, algunos generales para ser difundidos en cada Departamento y otros particulares para ser analizados con los docentes. Estos informes tienen por objeto proporcionar a los Sres. Directores y docentes de los Departamentos un feed-back que les permita la reflexión sobre los procesos cotidianos de toma de decisiones en la enseñanza y su mejora.

Conclusiones

Una de las principales dificultades que encontramos en la realización de este trabajo es la ausencia de un clima que facilite su puesta en marcha, en este sentido, somos conscientes de que los tiempos institucionales son más lentos que los tiempos proyectados en las intenciones, no obstante queremos rescatar de la experiencia aquellos aspectos significativos a tener en cuenta para seguir trabajando y no perder los avances logrados.

Esta realidad nos demuestra que la evaluación de la enseñanza no resulta fácil, por lo que es necesario generar y extender una cultura evaluativa entre los miembros de la comunidad académica, de modo de enfatizar, por encima de todo, su carácter formativo y contribuir a reducir la resistencia generalizada. Los primeros pasos ya están dados, pero se precisa avanzar hacia delante y promover un claro compromiso de los Sres. Directores de los Departamentos docentes.

Por último queremos destacar que la puesta en marcha de un proceso tan complejo precisa ir resolviendo permanentemente los problemas inmediatos que se generan, con el consiguiente riesgo de renunciar a algunos de los propósitos iniciales, por ello el marco del trabajo emprendido ha requerido alteraciones, revisiones mayores y nuevos análisis que tal vez contradicen algunos primeros supuestos, en otras palabras, la tarea realizada no constituye un momento particular que obtiene resultados finales, sino que por definición ella misma es un proceso en evolución permanente.

Camilloni, Celman, Litwin, Palou de Maté, «La evaluación de los aprendizajes en el debate didáctico contemporáneo». Paidós Educador, Bs. As, 1998.

Eisner, Elliot. «El ojo ilustrado: indagación cualitativa y mejora de la práctica educativa». Paidós Educador. Barcelona, 1998.

Elliot, John. «La investigación-acción en Educación». Ed. Morata, Madrid 1990

Follari, Roberto . «El Estado Benefactor y el Estado Evaluador» en Revista Argentina de Ciencias de la Educación.

Lafourcade, P. «La Autoevaluación». Bs. As. Kapelusz, l990.

McDonald, B. (1976) «Evaluation and the Control of Education», in D. Tawney. «Interviewing in Case Study Evaluation» Los Angeles, Aera, 1981.

Popkewitz, T. «Paradigma e Ideología en la Investigación Educativa». Ed. Monadadori, Madrid, 1988.

RELIEVE - Relieve Electrónica de Investigación y Evaluación Educativa. Asociación Interuniversitaria de Investigación Pedagógica (AIDIPE). España.

Sacristán y Pérez Gómez, «La Enseñanza, su teoría y su práctica», ed. Akal / Universitaria, 1985.

Sacristán Gimeno. «Pedagogía por Objetivos». La obsesión por la eficiencia Madrid. Morata, 1982.

«Comprender y Transformar la Enseñanza», Ed. Morata, Madrid l992

Stenhouse, «Investigación y desarrollo del Currículum», Madrid. Morata, 1984.