Psicothema, 1993. Vol. Vol. 5 (nº 2). 265-275

Miguel A. MATEO GARCÍA y Juan FERNANDEZ SANCHEZ

El presente trabajo trata de mostrar los fundamentos empíricos de un especial desglose dimensional que se opera sobre el CEPUC (Cuestionario de Evaluación del Profesorado de la Universidad Complutense) con el fin de facilitar la interpretación de los informes valorativos de la calidad docente dirigidos a los distintos destinatarios. 585 estudiantes de ambos sexos de todos los centros y cursos de la Universidad Complutense de Madrid cumplimentaron el instrumento de evaluación a finales del curso académico 1990/91 (meses de Abril y Mayo). Se realizaron análisis de correlación canónica, así como análisis de regresión simple y múltiple, considerando como criterio (individual y colectivamente) un conjunto de cinco elementos insertos en el propio instrumento. Los resultados obtenidos parecen ir en consonancia con la propuesta inicial.

Palabras clave: Evaluación de la calidad docente; Evaluación del profesorado universitario; Evaluación por los alumnos.

Dimensions of University teaching quality. This article is meant to demostrate the empirical support given to a specific breakdown that is applied to the CUTEQ (Complutense University Teachers Evaluation Questionnaire) in order to make it easier for its recipients (professors) to facilitate the interpretation of the reports that assess the teaching quality. 585 students of both sexes and from all the Madrid Complutense University centres completed this evaluation instrument at the end of the academic course 1990/91 (on April and May). Canonical correlation analysis as well as simple and multiple regression analysis were applied, and a set of five elements from the questionnaire itself were used as a criterion. Results obtained seem to be in accordance with the initial proposal.

Key words: Evaluation of teaching quality; Faculty assessment; Student's evaluation

Dentro de las múltiples formas posibles de llevar a cabo la evaluación de la calidad docente del profesorado (autoevaluación, observación en el aula, valoración por parte de los compañeros, etc.), la que muestra un corpus más abundante de investigación y la que goza de un mayor consenso entre la comunidad de investigadores en este campo es, sin duda alguna, la realizada por los alumnos a través de cuestionarios (Marsh, 1987). En una buena parte de los casos, estos cuestionarios son sometidos a una serie de análisis (frecuentemente análisis factoriales de tipo exploratorio y en contadas ocasiones de carácter confirmatorio) gracias a los cuales se determinan las principales propiedades formales de los mismos. El que hasta el momento presenta una mayor cantidad de estudios empíricos tendentes a establecer y fundamentar estas propiedades, principalmente todo lo referido a la dimensionalidad, es, en el ámbito internacional, el SEEQ (Students' Evaluation of Educational Quality) de Marsh (1982, 1987; Marsh y Hocevar, 1991). En nuestro país, el CEPUC (Cuestionario de Evaluación del Profesorado de la Universidad Complutense), en sus diversas formas (completa y reducida), es un instrumento que viene recibiendo una considerable atención, habiendo sido objeto de un sustancial número de análisis empíricos para poner a prueba tanto su fiabilidad (consistencia interna) como su dimensionalidad (Angulo, Fernández y Martínez, 1987; Fernández y Mateo, 1992; Mateo y Fernández, 1992).

En el presente trabajo se pretende dar un paso más, encaminado a ofrecer algunas posibles bases empíricas para un especial desglose realizado sobre la dimensionalidad de este último cuestionario con objeto de optimizar la claridad de la devolución de la información valorativa a las correspondientes unidades de análisis evaluadas: profesor, departamento, centro, tipo de centro y universidad en cuanto tal.

METODO

Sujetos

Los datos utilizados se han obtenido, de un modo colectivo y confidencial, en una muestra formada por 585 estudiantes de ambos sexos de la Universidad Complutense de Madrid. Esta muestra fue seleccionada aleatoriamente de la población de los estudiantes que tomaban parte en el programa de evaluación de la calidad de la enseñanza en dicha institución durante el curso académico 1990/91. Se ha cuidado el que en la composición de la muestra estuviesen representados proporcionalmente los diversos tipos de centro (facultades experimentales, no-experimentales y escuelas universitarias), así como los distintos cursos. Asimismo, y dado que la unidad de análisis considerada ha sido la evaluación ("cruce" profesor-alumno), se ha procurado que no apareciese más de una evaluación realizada por un mismo alumno.

Instrumento

El instrumento empleado ha sido la versión reducida del CEPUC que aparece en Fernández y Mateo (1992) y Mateo y Fernández (1992), y que ha sido empleada en la evaluación de la calidad docente llevada a cabo en los últimos años en la Universidad Complutense. Dado que el objetivo propuesto es encontrar apoyo empírico para cierto número de subdimensiones de la calidad de la enseñanza que presumiblemente se encuentran contenidas en los dos factores recogidos en el mencionado instrumento, convendrá establecer aquí cuáles son:

a) Estilo docente (N1), conformada por los elementos números 1, 4, 10, 13 y 15.

b) Estructuración de los contenidos (N2), conformada por los elementos números 7, 8 y 9.

c) Claridad expositiva (N3), conformada por los elementos números 12, 14 y 16.

d) Competencia académica (N4), conformada por los elementos números 18 y 19.

Estas cuatro subdimensiones o núcleos teóricos significativos constituyen conjuntamente la mayor parte del Factor I, denominado Competencia docente mostrada.

e) Habilidades motivacionales y de interacción (N5), conformada por los elementos números 2, 3, 5, 6 y 17.

Este núcleo teórico se superpone totalmente con el Factor II del mismo nombre.

Adicionalmente, se van a tener en cuenta otras dos subdimensiones no contenidas en el cuestionario propiamente dicho (definido por los 22 elementos que conforman las dos dimensiones básicas de éste), que inciden de una forma más indirecta en la calidad docente y que son utilizadas cada curso académico en la devolución de la información al profesorado:

f) Requisitos docentes (N6), conformada por los elementos números 20, 21 y 25.

g) Ecuanimidad evaluadora (N7), conformada por los elementos números 22, 23 y 24.

Finalmente, se tiene en consideración un último bloque, formado por los elementos números 11, 26, 27, 28 y 29 (de ellos, los números 11, 26, 28 y 29 forman parte del Factor 1 más arriba aludido, mientras que el número 27 es empleado como criterio general). Este conglomerado no es de una naturaleza comparable a la de los siete anteriormente referidos, pues se trata de un conjunto más o menos homogéneo de cinco elementos de control o ponderativos, pudiendo tomarse, juntos o por separado, como criterio "externo" de referencia para las distintas dimensiones o subdimensiones del cuestionario.

Análisis de datos

Con los análisis de datos llevados a cabo se pretende, a través del "enfrentamiento" del citado bloque de control con los restantes núcleos teóricos, un doble objetivo:

a) tratar de comprobar si los siete núcleos teóricos aportan realmente algo, tanto conjuntamente como por separado, a la hora de dar cuenta de la calidad docente.

b) intentar corroborar si los cinco elementos constituyentes del bloque de control pueden considerarse como definidores de un criterio general de calidad docente.

Con esta finalidad se han utilizado dos tipos de análisis. Por una parte, análisis de correlación canónica, considerando el bloque de control como conjunto criterio y el resto de elementos del CEPUC como conjunto predictor (para ello se ha empleado el programa 1M del paquete estadístico BMDP -Dixon, 1988). Por otra parte, análisis de regresión, simple y múltiple, con objeto de apoyar y matizar los resultados encontrados por medio de los anteriores (en esta ocasión se ha empleado el programa 2R del paquete estadístico BMDP).

A la hora de interpretar los análisis de correlación canónica se han tenido en cuenta las siguientes cuestiones (siguiendo a Kuylen y Verhallen, 1981, y Thompson, 1985, entre otros):

- las variables canónicas: combinaciones ponderadas de componentes del conjunto criterio y del conjunto predictor que hacen máxima la correlación entre los dos constructos hipotéticos subyacentes a cada uno de ellos.

- las correlaciones canónicas (R_c): indicadores del grado de relación entre cada variable canónica asociada al conjunto criterio y la correspondiente asociada al conjunto predictor. Sus valores elevados al cuadrado (autovalores de las variables canónicas) representan la proporción de la varianza de la variable canónica asociada al conjunto criterio que es compartida con la asociada al conjunto predictor.

- los coeficientes canónicos (w_j, coeficientes de función): indicadores de la importancia que presenta cada variable de cada conjunto (criterio y predictor) a la hora de maximizar la correlación entre ambos. Estos coeficientes permiten definir las puntuaciones en las variables canónicas.

- las saturaciones canónicas (S_j, coeficientes de estructura): su papel fundamental es servir para la interpretación de las variables canónicas. Representan la correlación entre una variable empírica y una variable canónica, informando así de la aportación de aquélla a la definición de ésta.

- los coeficientes de adecuación de las variables canónicas (R²_y): indicadores de la cantidad de varianza empírica representada por cada variable canónica en cada uno de los dos conjuntos (R²_y = (Suma S²_j)/n, n: número de variables empíricas que conformen la variable canónica considerada).

- los coeficientes de redundancia de las variables canónicas (R²_d(y/x), Stewart y Love, 1968): indicadores de la cantidad de varianza "explicada" en un conjunto dado el otro (R²_d(y/x) = R²_c x R²_y).

- la proporcion de redundancia encontrada en un conjunto dado el otro (Vk_(y/x)): correlación al cuadrado promedio de una variable genérica de un conjunto con la variable canónica del otro (V_{k (y/x)} = R²d _(y/x)/(Suma R²_d(y/x) ).

- los coeficientes( de correlación múltiple al cuadrado intraconjunto para cada variable empírica, considerados como indicadores del grado de multicolinealidad (Johnston, 1972).

- los coeficientes de comunalidad canónicos (Thompson, 1980; Thorndike, 1977), que son indicadores de la utilidad que cada variable empírica muestra de cara a la definición de la solución canónica. Los análisis de regresión realizados, complemento de los anteriores, utilizan como variables criterio a cada uno de los cinco elementos del ya mencionado bloque de control (por separado), tratando como variables predictoras:

1) a los siete núcleos teóricos significativos. A este respecto se llevan a cabo los correspondientes análisis de regresión simple (lineal y polinómica) y múltiple.

2) a los elementos que constituyen el CEPUC, excluidos, obviamente, los cinco del bloque de control. A este respecto se llevan a cabo los correspondientes análisis de regresión múltiple.

Una recapitulación de la totalidad de los análisis realizados puede verse en el Cuadro 1.

RESULTADOS

Análisis de correlación canónica

a) Si se consideran los dos casos en que se utilizan como conjuntos predictores, por una parte los 24 elementos del cuestionario que no constituyen el bloque de control, y por la otra los 18 elementos que conforman los núcleos teóricos 1 a 5, se observa que aparecen, en ambos casos, tres variables canónicas significativas:

- la primera está conformada como sigue:

1. Para el conjunto predictor, por todos sus elementos, mostrándose como los menos interesantes los números 20, 24, 22, 23, 25 y 21, en el primer caso, y los números 5, 6, 7, 17, 19, 3 y 10, en el segundo. Esta primera variable canónica da cuenta de un 47.87% y de un 58.16% de la varianza total del conjunto predictor en cada caso (índices de redundancia = 0.42 y 0.51, respectivamente).

2. Para el conjunto criterio, también por todos sus elementos, mostrando la menor aportación los números 29, 26 y 11, en ambos casos. Esta primera variable canónica da cuenta, en cada caso, de un 80.59% y de un 74.31% de la varianza total del conjunto criterio (índices de redundancia = 0.66 y 0.65, respectivamente). El porcentaje de varianza asociada entre la primera variable canónica definida para el conjunto criterio y la correspondiente definida para el conjunto predictor es de un 87.85% (correlación canónica = 0.94, chi-cuadrado = 1463.18 -g.1.=120-, p=0.000) y de un 86.95% (correlación canónica = 0.93, chi-cuadrado = 1402.59 -g.l.=90-, p=0.000), en cada caso.

- la segunda variable canónica está conformada de modo que:

1. Para el conjunto predictor, muestran la aportación mayor los elementos números 15, 5, 17, 16, 14, 18..., en ambos casos, con una incidencia muy pequeña de los elementos números 13, 25, 22, 1, 23, 24, 21, 20 y 8, en el primer caso, mientras que en el segundo la incidencia más baja es la de los elementos números 13, 1 y 8. Esta segunda variable canónica da cuenta, en cada caso, de un 2.21 % y de un 3.61% adicional de la varianza total del conjunto predictor (índices de redundancia = 0.0057 y 0.0075, respectivamente).

2. Para el conjunto criterio, muestran la aportación mayor, y además positiva, los elementos números 11 y 29, mientras que los tres restantes, encabezados número 27, muestran aportaciones negativas, en ambos casos. Esta segunda variable canónica da cuenta de un 8.50% adicional de la varianza total del conjunto criterio en cada uno de los dos casos (índices de redundancia = 0.018 en los dos casos). El porcentaje de varianza asociada entre la segunda variable canónica definida para el conjunto criterio y la definida para el conjunto predictor es de un 21.27% (correlación canónica = 0.46, chi-cuadrado = 263.67 -g.1.=92-, p=0.000) y de un 20.75% (correlación canónica = 0.46, chi-cuadrado = 237.89 -g.l.=68-, p=0.000), en cada caso.

- la tercera variable canónica está conformada de la siguiente manera:

1. Para el conjunto predictor, muestran la aportación mayor, en ambos casos, los elementos números 19, 8, 18, 7, 9, 3, 16 y 13. Esta tercera variable canónica da cuenta, en cada caso, de un 2.95% y de un 3.84% adicional de la varianza total del conjunto predictor (índices de redundancia = 0.0031 y 0.0038, respectivamente).

2. Para el conjunto criterio, en ambos casos muestra una aportación mayor, y además positiva, el elemento número 26, seguido por los elementos números 28 y 29, ambos con aportaciones negativas. Esta tercera variable canónica da cuenta, en cada caso, de un 6.25% y de un 6.48% adicional de la varianza total del conjunto criterio (índices de redundancia = 0.0066 y 0.0064, respectivamente). El porcentaje de varianza asociado entre la tercera variable canónica definida para el conjunto criterio y la definida para el conjunto predictor es de un 10.62% (correlación canónica = 0.33, chi-cuadrado = 127.59 -g.l.=66-, p=0.000) y de un 9.86% (correlación canónica = 0.31, chi-cuadrado = 104.83 -g.l.=48-, p=0.000), en cada caso.

De estos resultados se puede inferir que, efectivamente, la totalidad de los elementos del CEPUC (excepción hecha del bloque de control) conforman una unidad relativamente compacta, significativa y dotada de una buena capacidad para dar cuenta de la calidad de la enseñanza universitaria tal y como la perciben los estudiantes. Asimismo, es posible observar que son precisamente los elementos que no entran a formar parte de la definición de los factores Competencia docente mostrada y Habilidades motivacionales y de interacción, quienes muestran una menor aportación al respecto. Por otra parte, también los elementos constituyentes del bloque de control pueden considerarse como formando una globalidad relativamente compacta y significativa, caracterizada en términos de una cierta función ponderativa de los hallazgos obtenidos mediante el uso del cuestionario (criterio "externo" compuesto). Adicionalmente, la presencia de una segunda y una tercera variables canónicas permite sugerir la consideración de sendos subbloques significativos de elementos, uno de ellos directamente relacionado con la materia y el otro referido al profesor ideal.

b) Si se considera la utilización como conjunto predictor de los siete núcleos teóricos significativos, se observa la aparición de tres variables canónicas relevantes:

- la primera está constituida por todos los núcleos para el conjunto predictor (siendo los números 7 y 6 los que muestran menor importancia), mientras que para el conjunto criterio la conforman los cinco elementos que lo forman (siendo los más importantes los números 27 y 28). Esta primera variable canónica da cuenta de un 61.06% de la varianza total del primer conjunto y de un 73.98% de la varianza total del segundo (índices de redundancia = 0.52 y 0.63, respectivamente).

El porcentaje de varianza asociada entre la primera variable canónica definida para el conjunto criterio y la correspondiente para el conjunto predictor es de un 85.24% (correlación canónica = 0.92, chi-cuadrado = 1198.23 -g.l.=35-, p=0.000).

- la segunda variable canónica está conformada fundamentalmente por los núcleos números 5, 3, 1 y 4 (con una aportación secundaria y negativa del número 6), para el conjunto predictor, y por el elemento número 26 (con una aportación secundaria y negativa de los números 29 y 11), para el conjunto criterio.

Esta segunda variable canónica da cuenta de un 4.31 % adicional de la varianza total del primer conjunto y de un 7.96% adicional de la varianza total del segundo (índices de redundancia = 0.0038 y 0.0071, respectivamente).

El porcentaje de varianza asociada entre la segunda variable canónica definida para el conjunto criterio y la correspondiente para el conjunto predictor es de un 8.94% (correlación canónica = 0.30, chi-cuadrado = 93.27 -g.l.=24-, p=0.000).

- la tercera variable canónica está conformada principalmente por los núcleos números 4, 5, 3 y 2 (con una aportación secundaria y negativa del número 7), para el conjunto predictor, y por los elementos números 27 y 28 (con aportaciones muy secundarias y negativas de los tres restantes), para el conjunto criterio.

Esta tercera variable canónica da cuenta de un 5.36% adicional de la varianza total del primer conjunto y de un 7.79% adicional de la varianza total del segundo (índices de redundancia = 0.0026 y 0.0037, respectivamente).

El porcentaje de varianza asociada entre la tercera variable canónica definida para el conjunto criterio y la correspondiente para el conjunto predictor es de un 4.76% (correlación canónica = 0.22, chi-cuadrado = 39.16 -g.l.=15-, p=0.000).

Recapitulando estos datos, se observa como todos los núcleos teóricos propuestos conforman una globalidad significativa y con un buen poder predictor de la calidad docente, con especial incidencia por parte de los cinco primeros núcleos, que a su vez constituyen la mayor parte de los dos factores empíricamente delimitados como dimensiones fundamentales no sólo del CEPUC, sino de la propia excelencia educativa. Por otra parte, también desde esta perspectiva, los cinco elementos que forman el bloque de control componen un todo significativo (criterio compuesto), llevando el mayor peso en su definición los elementos números 27 y 28. Adicionalmente, la aparición de una segunda y una tercera variables canónicas sugiere la consideración de sendos subbloques significativos de núcleos y de elementos, uno de ellos relativo al profesor ideal y el otro al profesor real.

Análisis de regresión

a) Si se tienen en cuenta los 35 análisis de regresión lineal simple resultantes de los "cruces" entre todos y cada uno de los cinco elementos del bloque de control (criterio) y las siete variables predictoras que son los núcleos teóricos, es posible observar la aportación de cada predictor por separado a la estimación de los distintos criterios, sintetizada como sigue (en orden decreciente de importancia):

Núcleo 1. Estilo docente: poder predictivo entre un 47% y un 74%.

Núcleo 3. Claridad expositiva: poder predictivo entre un 36% y un 66%.

Núcleo 2. Estructuración de contenidos: poder predictivo entre un 31 % y un 53%.

Núcleo 4. Competencia académica: poder predictivo entre un 30% y un 50%.

Núcleo 5. Habilidades motivacionales y de interacción: poder predictivo entre un 25% y un 48%.

Núcleo 6. Requisitos docentes: poder predictivo entre un 22 y un 30%.

Núcleo 7. Ecuanimidad evaluadora: poder predictivo entre un 11% y un 16%.

Esta jerarquía aparece invariablemente con respecto a cuatro de los elementos criterio, los números 11, 27, 28 y 29, avanzando dos lugares la posición del núcleo 5 cuando se considera como elemento criterio el número 26 (ver un resumen más amplio de estos resultados en la Tabla 1).

Adicionalmente, el estudio de los análisis de regresión polinómica correspondientes revela la presencia de una apreciable relación curvilínea entre los núcleos 1 y 7 y los elementos números 11, 27 y 28, entre los núcleos 2, 5 y 7 y el elemento número 29, y entre todos los núcleos, excepto el 5, y el elemento número 26 (ver un resumen en la Tabla 2).

b) Si se consideran los cinco análisis de regresión lineal múltiple resultantes de tomar, en cada caso, a uno de los cinco elementos del bloque de control como criterio y a los siete núcleos teóricos, con sus correspondientes interacciones, como variables predictoras, es posible observar la invariable incidencia que muestran fundamentalmente los núcleos 1 y 6 a lo largo de todas las situaciones, acompañados por los núcleos 3 y 4 (y la interacción entre los núcleos 1 y 3) en lo que respecta a los elementos números 27 y 28, por los núcleos 5 y 2 (más dos interacciones) en lo que concierne al elemento número 11, por los núcleos 3 y 2 (más tres interacciones) en lo que se refiere al elemento número 26, y por los núcleos 4 y 5 (más dos interacciones) en relación con el elemento número 29. No debe omitirse una mención al hecho de que el núcleo 7, considerado en solitario, sólo incide sobre el elemento número 27, mientras que no influye en modo alguno sobre el elemento número 28 y tan sólo lo hace sobre los elementos números 11, 26 y 29 conformando diversas interacciones (ver un resumen en la Tabla 3).

En resumen, en función de las semejanzas y diferencias encontradas en cuanto a la incidencia de los distintos núcleos y sus interacciones, podría proponerse un cierto desglose del bloque criterio según tres grupos de elementos relativamente homogéneos (internamente), a la par que diferenciados entre sí:

Grupo 1: Profesor real (elementos números 27 y 28) - núcleos predictores en común: 1, 3, 4, 6 y 1x3.

Grupo 2: Profesor (elementos números 26, 27 y 28) - núcleos predictores en común: 1, 3, 6 y 1x3.

Grupo 3: Asignatura (elementos números 11 y 29) - núcleos predictores en común: 1, 5, 6 y 2x7.

c) Por último, se consideran los 50 análisis de regresión múltiple resultantes de tomar, en cada caso, a uno de los cinco elementos del bloque de control como criterio y, sucesivamente, a todos los elementos constitutivos de cada uno de los dos factores empíricos, de los siete núcleos teóricos y de la totalidad del cuestionario, como variables predictoras, es posible observar desde distintas perspectivas la aportación con que cada elemento del CEPUC contribuye al objetivo propuesto. Los resultados, tanto en lo que concierne a la definición de los factores, como a la constitución de los núcleos y a la composición del instrumento de evaluación en su globalidad, muestran un excepcional valor de los elementos números 1, 2, 4, 9, 12, 13, 16, 17, 18 y 19, así como de los números 21 y 25, una importancia algo menor de los elementos números 3, 8, 14 y 15, así como de los números 22 y 23, y un interés bastante más pequeño por parte de los elementos números 5 y 7, así como del número 24. Además, ha de observarse que los elementos números 6, 10 y 20 no tienen prácticamente ninguna incidencia predictora, si bien al menos este último (Es constante en la asistencia a clase), por enunciar un requisito formal básico e irrenunciable, debería de conservar quizás un lugar en el marco del CEPUC.

COMENTARIO

El presente trabajo, siguiendo la linea establecida en Fernández y Mateo (1992) y Mateo y Fernández (1992), corrobora la adecuación de la versión reducida del CEPUC como instrumento para la evaluación de la calidad de la enseñanza universitaria. Empleando una metodología alternativa (análisis de correlación canónica y de regresión), aparece como plenamente justificada la consideración de ciertas subdimensiones significativas, conocidas como núcleos teóricos, y que son denominadas, respectivamente, Estilo docente (N1), Estructuración de contenidos (N2), Claridad expositiva (N3), Competencia académica (N4), Habilidades motivacionales y de interacción (N5), Requisitos docentes (N6) y Ecuanimidad evaluadora (N7). Asimismo parece respaldada por los datos empíricos la utilización de un conjunto de cinco elementos, los números 11, 26, 27, 28 y 29, como bloque de control o ponderación a la hora de extraer conclusiones a partir del uso del cuestionario, no careciendo, incluso, de sentido la consideración adicional de determinados subgrupos dentro de este bloque (uno relativo al profesor, tanto como es percibido en realidad -profesor real-, cuanto como sería deseado que fuese -profesor ideal y otro a la materia impartida por él).

Sobre estas bases se muestra totalmente dotada de sentido la completa dimensionalización que se ha venido empleando en el procedimiento de devolución a sus destinatarios de la información obtenida en el proceso de evaluación de la enseñanza desarrollado en la Universidad Complutense de Madrid durante los últimos cursos, cuyo objetivo ha sido tanto facilitar una interpretación clara y rica de los datos como posibilitar la optimización de su empleo de cara al diseño y la consecución de una política de mejora de la enseñanza universitaria.

REFERENCIAS

Angulo, F., Fernández, J. y Martínez, M. R.(1987). La evaluación de la enseñanza universitaria. Madrid: Instituto de Ciencias de la Educación.

Dixon, W. J .(1988). BMDP Statistical Software Manual. Berkeley, CA: University of California Press.

Fernández, J. y Mateo, M. A. (1992). Student evaluation of university teaching quality: Analysis of a questionnaire. Educational and Psychological Measurement, 52, 675-686.

Johnston, J. (1972). Econometric methods. New York: McGraw-Hill.

Kuylen, A. A. A. y Verhallen, T. M. M. (1981). The use of Canonical analysis. Journal of Economic Psychology, 1, 217-237.

Marsh, H. W. (1982). SEEQ: A reliable, valid, and useful instrument for collecting students' evaluations of university teaching. British Journal of Educational Psychology, 52, 77-95.

Marsh, H. W. (1987). Students' evaluation of university teaching: Research findings, methodological issues, and directions for future research. International Journal of Educational Research, 11, 253-388.

Marsh, H. W. y Hocevar—(1991). The multidimensionality of students' evaluations of teaching effectiveness: The generality of factor structures across academic discipline, instructor level, and course level. Teaching arzd Teacher Educacion, 7 (1), 9-18.

Mateo, M. A. y Fernández, J. (1992). Análisis confirmatorio de la estructura dimensional de un cuestionario para la evaluación de la calidad de la enseñanza. Investigaciones Psicológicas, 11, 73-82.

Stewart, D. y Love, W. (1968). A general Canonical correlation index. Psychological Bulletin, 70, 160-163.

Thompson, B. (1980). Canonical correlation: Recent extensions for modelling educational processes. Presented at the annual meeting of the American Educational Research Association, Boston.

Thompson, B. (1985). Canonical correlation analysis. Beverly Hills, CA: SAGE.

Thorndike, R. M. (1977). Canonical analysis and predictor selection. Journal of Multivariate Behavioral Research, 12, 75-87.