ESCALA DE LA UNIVERSIDAD DE OVIEDO PARA LA EVALUACIÓN DEL PROFESORADO

José MUÑIZ^*, Arturo GARCIA^** y José M. VIRGOS^***

* Departamento de Psicología, **I.C.E., ***Departamento de Física ,Universidad de Oviedo.

Se presenta la escala elaborada en la Universidad de Oviedo para la evaluación de los profesores por parte de los alumnos. La escala consta de quince items tipo Likert, con cinco categorías cada uno. Durante el curso académico 89-90 se aplicó a unos 14.600 alumnos que rellenaron un total de 65.106 protocolos válidos para evaluara 1.174 profesores. Las propiedades métricas de la Escala resultaron adecuadas, con una fiabilidad elevada ( a = 0.9616; O = 0.9638) y una buena validez factorial. Los resultados de la evaluación tomados globalmente pueden considerarse como positivos para el profesorado de la Universidad de Oviedo. Se detallan los resultados por Departamentos y Centros.

Palabras Clave: Evaluación del profesorado universitario, Escala Likert, Universidad de Oviedo.

ABSTRACT

Scale of the University of Oviedo for faculty evaluation. The development and use of a scale to evaluate faculty at the University of Oviedo is presented. The scale consist of 15 Likert items; ratings are provided on a five point scale. The scale was used recently (1990) by 14.600 college students who answered a total of 65.106 protocols in order to evaluate 1.174 faculty. Results show that the scale has adequate metric properties, with a high reliability ( a = 0.9616; O = 0.9639) and factorial validity. Overall, the results also show the faculty are performing well, and those faculty and/or department in need of specific help can be identified.

Key Words: Faculty evaluation, Likert scale, University of Oviedo.

La Universidad de Oviedo, como el resto de las universidades españolas, tiene por imperativo legal (L.R.U., art. 45.3), amén de por pura racionalidad y sentido común, que evaluar periódicamente a su profesorado.

Esta labor es necesariamente compleja y multidimensional, por lo que los datos para llevarla a cabo de una forma integral han de provenir de muy diversas fuentes. Una de esas fuentes son inexcusablemente los propios alumnos destinatarios de la docencia. En el presente informe se describe la Escala utilizada por la Universidad de Oviedo para recoger la opinión de los alumnos acerca de sus profesores, se detallan sus propiedades métricas, y se ofrecen los datos obtenidos.

CONSTRUCCION DE LA ESCALA

La construcción de la Escala fue encargada por la Junta de Gobierno de la Universidad a la Comisión de Ordenación Académica que preside la Vicerrectora de Ordenación Académica y profesorado, Aurora Aragón, y que está formada por los siguientes vocales: Fermín Gómez Beltrán, Francisco Bastida, Angel L. López Ramos y Julio A. González García. Esta comisión, a su vez, delegó algunos de los aspectos técnicos de la construcción de la escala a expertos de los Departamentos de Psicología (José Muñiz, Francisco Javier Rodríguez), Ciencias de la Educación (Teófilo Rodríguez Neira, Darío Rodríguez del Amo), Física (José María Virgós), Matemáticas (Pedro Gil) e ICE (Arturo García), coordinados por el Director de Area Vicente Gotor. No obstante, todas las decisiones finales acerca de la Escala fueron tomados por la Comisión de Ordenación Académica incluyendo en ella a los citados expertos.

La construcción de este tipo de escalas está bien documentada en la literatura especializada, existiendo numerosos modelos, cada uno con sus pros y sus contras. Para una visión comprensiva del campo y análisis de los principales problemas implicados en la evaluación del profesorado pueden consultarse por ejemplo, Aleamoni (1987), Bowers (1989), Centra (1982), Elton (1986), Feldman (1987), Gamble (1985), Miller (1987), Millman (1981), Pittman y Slate (1989), Sherman et al. (1987), Stufflebeam (1988), o Seldin (1984), sólo por citar algunos. En cuanto a los aspectos más tecnológicos y propiedades métricas implicadas en la construcción de las escalas, la literatura es ciertamente abundante, véanse a modo de muestra Bolanowski y Gescheider (1990), Cohen (1983), Cooper (1981), Dawes y Smith (1985), Dunn-Rankin (1983), Edwards (1957), Gescheider (1985), Gregoire y Driver (1987), Hambleton y Swaminathan (1985), Landy y Farr (1980, 1983), Likert (1932), Lissitz y Green (1975), Lord (1980), Linn (1989), Lord y Novick (1968), Muñiz (1990, 1991), Osgood et al. (1971), Poulton (1989), Rasmussen (1989), Stevens (1975), Thurstone (1959), Torgerson (1958), Van der Ven (1980), Young y Hamer (1987). Buenas revisiones sobre escalamiento de estímulos y de sujetos pueden considerarse en Gescheider (1988), Jones y Appelbaum (1989), Traub y Lam (1985), Weiss y Davison (1981), o Young (1984). Además, y entre otras, las revistas Journal of Personnel Evaluation in Education y Journal of Higher Education, dedican especial atención al tema.

En nuestro caso se trataba de elaborar una escala que se ajustase a las características de la Universidad de Oviedo y a las condiciones de aplicación en las que se iba a llevar a cabo. Tras consultar la literatura sobre el tema y analizar otras escalas que ya se habían utilizado en diferentes universidades españolas (Autónoma de Madrid, Santander, Santiago, Zaragoza...), se seleccionaron aquellos aspectos o dimensiones de la docencia que se deseaban evaluar, así como los items destinados a cada dimensión, quedando finalmente, y tras un prolijo análisis, como sigue:

Aspectos a Evaluar................................................................................................. Items

Asistencia a clase y cumplimiento del horario .......................................................................1, 2

Organización y claridad de las clases .................. ........................................................... 3, 4, 5

Dominio de la asignatura ...........................................................................................................6

Motivación e interés ............................................................................................................. .7, 8

Interacción con los alumnos ............................................................................................... 9, 10

Material, trabajo y prácticas .............................................................................................. 11, 12

Adecuación de la evaluación ............................................................................................ 13, 14

Valoración global .................................................................................................................... 15

Operativizándose en la Escala que aparece en la página siguiente.

Existen dos circunstancias materiales que modulan notablemente la construcción de una escala para ser utilizada en una universidad como la nuestra. En primer lugar, va a ser aplicada en Centros y Facultades muy diversas, Ciencias Sociales, Humanidades, Ciencias Experimentales, Ciencias Médicas, Ingenierías, por lo que debe dirigirse a evaluar aspectos comunes a todas esas enseñanzas. Si bien es cierto que de este modo se pierde en especificidad, ello queda compensado con creces con las ganancias en comparabilidad y unificación de criterios. Además, nada impide que de modo complementario los centros elaboren su propia encuesta específica para fines domésticos. Incluso los profesores podrían utilizar otras escalas adaptadas a sus necesidades para recibir feedback de aspectos concretos en los que estén interesados y a los que probablemente nunca va a llegar la evaluación de la universidad. Algunos Departamentos, como Filosofía y Psicología, ya proporcionan en la actualidad una escala muy detallada a sus profesores de uso voluntario.

La segunda circunstancia moduladora es que cada alumno ha de rellenar en la misma sesión una media de cinco encuestas, una por cada profesor, lo cual condiciona el número de items de la escala, tratando de evitar que el proceso resulte demasiado largo. El número utilizado de 15 items es habitual en este tipo de escalas y nos pareció a priori que era suficiente para recoger la información deseada, observándose durante la aplicación que el tiempo total exigido para cada alumno resultaba apropiado y nada fatigoso, pudiendo estimarse por término medio, instrucciones incluidas, en unos 60 minutos.

PROCEDIMIENTO DE APLICACION

La aplicación de la escala se llevó a cabo por un equipo de diez encuestadores convenientemente instruidos. Todos ellos eran estudiantes de la Universidad de Oviedo, Departamentos de Psicología y de Ciencias de la Educación, en su mayoría haciendo el doctorado. Se procedía por Centros, informando con un día de antelación al Decano o Director de cuando se iba a realizar la encuesta, para que facilitase su aplicación en todo lo posible. Cada grupo de alumnos debía de cubrir una encuesta para cada uno de sus profesores, una vez cubierta la de un profesor se recogía, se metía en un sobre que se precintaba inmediatamente y se procedía con el siguiente profesor. Los encuestadores debían hacer un informe detallado en el caso de que ocurriese cualquier incidencia, llevándose a cabo la aplicación con sorprendente normalidad y eficacia para ser la primera vez que se realizaba en nuestra Universidad. Hay que subrayar la excelente colaboración por parte de los alumnos y de los profesores, así como la eficacia de los encuestadores. La aplicación se llevó a cabo entre el 20 de abril y el 20 de mayo de 1990, dado que no fue posible antes, aunque es aconsejable adelantarlo a las primeras fechas del último trimestre para evitar las típicas pérdidas de alumnos que se producen en la segunda quincena de mayo, especialmente en las Facultades de Humanidades.

ANALISIS DE LOS DATOS

Las encuestas se procesaron en el Centro de Cálculo de la Universidad de Oviedo bajo la dirección del Profesor Virgós. Los protocolos fueron leidos con Lectora Optica y para los cálculos generales se elaboraron diversos programas. Los paquetes BMDP y SPSS se utilizaron para todos los análisis relativos a las propiedades métricas de la escala. Quede constancia de nuestro agradecimiento a los profesores Javier Herrero y Marcelino Cuesta del Departamento de Psicología por su inestimable colaboración en el análisis de los datos, a los becarios de este Departamento José Ramón Alameda y Antonio Castellano, a la becaria de informática Beatriz Galán y al programador de aplicación César Díaz Lago, su ayuda fue sencillamente esencial.

INFORME A LOS PROFESORES

Un problema que siempre se presenta en una escala de este tipo es el modelo de informe en el que se deben ofrecer los resultados personales a cada profesor para optimizar su comprensión y hacer más efectivo el feedback, objetivo último de la encuesta. El asunto no entraña ninguna dificultad desde el punto de vista técnico, existiendo diversas posibilidades igualmente plausibles; más bien el problema radica en que la mayoría de los receptores no tienen por qué poseer esos conocimientos técnicos, de modo que la información que reciban ha de ser fácil de entender a la vez que completa. Tras analizar las distintas posibilidades y modelos de informe utilizados por otras universidades, se decidió utilizar el modelo que se adjunta en la Tabla 1. Este modelo tiene a nuestro entender varias ventajas respecto de otros utilizados hasta ahora. Por un lado, proporciona toda la información directa obtenida para el profesor, ofreciéndole además otras complementarias para facilitarle su ubicación relativa en el colectivo. Es de especial importancia la calificación del grupo, pues refleja la calificación media de los profesores que fueron evaluados por el mismo grupo de alumnos que le evaluó a él. Además se ofrece la calificación del Centro, Departamento y Universidad. Se detallan los resultados item a item, lo que permite al profesor detectar con precisión los puntos flacos (o fuertes) de su perfil. El informe se envió confidencialmente a cada profesor, utilizando sobres de impresión interna para garantizar una total privacidad en esta primera evaluación que se lleva a cabo en la Universidad de Oviedo.

DATOS GENERALES

Encuestas realizadas ....................................................................................................................65.799

Encuestas anuladas ..........................................................................................................................693

Encuestas válidas ............. ....... .................................................................................................. 65.106

	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	TODAS
NO CONTESTADAS	0	0	2	0	1	0	0	1	1	1	5	0	0	0	0	11
MUY DESADUERDO	0	0	18	15	10	5	2	6	5	3	6	3	13	5	6	97
EN DESACUERDO	1	6	66	59	42	25	18	36	13	22	19	16	30	38	40	431
INDECISO	0	4	13	26	37	31	46	41	28	60	41	21	22	21	26	417
DE ACUERDO	74	80	70	66	76	92	78	68	69	69	70	100	93	99	84	1188
MUY DE ACUERDO	114	99	20	22	23	36	45	37	72	34	48	48	31	26	32	687
MAL CONTES.	0	0	0	1	0	0	0	0	1	0	0	1	0	0	1	4
Nº RESPUESTAS	189	189	187	188	188	189	189	188	187	188	184	188	189	189	188	2820
CALIF. PROF.	4.6	4.4	3.0	3.1	3.3	3.7	3.8	3.5	4.0	3.6	3.7	3.9	3.5	3.5	3.5	3.7
CALIF. GRUPO	4.6	4.5	3.6	3.4	3.8	4.3	3.5	3.1	3.6	3.5	3.0	3.9	2.9	3.5	3.7	3.7
CALIF. CENTRO	4.3	4.0	3.4	3.3	3.5	3.9	3.5	3.0	3.6	3.3	2.8	3.4	2.8	3.3	3.3	3.4
CALIF. DEPRT.	4.2	4.1	3.3	3.1	3.4	4.0	3.6	3.1	3.6	3.4	3.0	3.5	3.2	3.4	3.4	3.5
CALIF. UNIV.	4.2	4.1	3.3	3.3	3.5	3.9	3.5	3.1	3.6	3.5	3.1	3.4	3.1	3.4	3.4	3.5

PROFESOR (.... .) ........

DEPARTAMENTO (..) .......

Tabla 1. Modelo de Informe al profesor.

Media de asignaturas por alumnos ......................... .............................................................. ............4,5

Alumnos encuestados (Aprox.) .....................................................................................................14.600

Alumnos de la Universidad (1989-90) ..........................................................................................33.800

Participación ................................................................................................................................. 43,2%

Profesores evaluados .....................................................................................................................1.174

Total profesores de la Universidad .................................................................................................1.372

Porcentaje de profesores evaluados .............................................................................. ............. 85,6%

Las razones de la no evaluación de algunos profesores, fueron fundamentalmente tres: a) que eran profesores de clases prácticas y la evaluación no iba dirigida a ellos, b) que los alumnos estaban en prácticas de campo o en viaje de estudios, y c) que algunos grupos ya habían tomado las vacaciones (finales de mayo).

DATOS GLOBALES DE LA UNIVERSIDAD

En la Tabla 2 aparecen los datos globales de la Universidad. A cada categoría cualitativa se asignó un valor, 1: Muy en desacuerdo, 2: En desacuerdo, 3: No sé, indeciso, 4: De acuerdo, 5: Muy de acuerdo. La escala de 1 a 5 se dividió en 5 clases:

4.2 ≤ x ≤ 5.0

3.4 ≤ x < 4.2

2.6 ≤ x < 3.4

1.8 ≤ x < 2.6

1.0 ≤ x < 1.8

Tal vez el único comentario sea el subrayar que los profesores de la Universidad de Oviedo considerados globalmente lo hacen bien en opinión de los alumnos, no estando por debajo del 3 en ninguna de las preguntas de la escala, con una media global general de 3.5. Destaca la alta puntuación en cuanto a asistencia a clase y cumplimiento del horario, 4.2 y 4.1 respectivamente (items 1 y 2), siguiéndoles con 3.9 el dominio de la asignatura y estar al día (item 6 ); a continuación con 3.6 aparece que el profesor es asequible y se pueden concertar entrevistas con él sin dificultad (item 9). Ciertamente, si se cumple con los horarios, se domina la asignatura y existe una buena interacción con los alumnos se tienen las bases de una docencia eficaz, y globalmente eso parece reflejar la encuesta.

ITEMS
	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	TODAS
1.0 ≤ F <1.8	15	16	79	63	34	15	20	67	11	14	34	12	44	47	53	8
1.8 ≤ F < 2.6	33	41	233	202	147	70	139	280	59	81	270	82	235	125	176	86
2.6 ≤ F <3.4	72	112	299	339	314	170	318	413	307	400	477	431	481	400	327	388
3.4 ≤ F <4.6	291	372	332	360	421	440	488	321	560	534	340	556	354	465	428	568
4.2 ≤ F <5.0	763	633	241	210	258	479	29	93	237	145	63	93	60	137	190	124
TOTAL	1174	1174	1174	1174	1174	1174	1174	1174	1174	1174	1173	1174	1174	1174	1174	1174
CALIF. MDIA	4.2	4.1	3.3	3.3	3.5	3.9	3.5	3.1	3.6	3.4	3.1	3.4	3.1	3.4	3.4	3.5

Tabla 2. Datos globales de la Universidad.

PROPIEDADES METRICAS DE LA ESCALA

Las Consistencia Interna de la escala resultó muy elevada, obteniéndose un Coeficiente Alfa de 0.961 y un Coeficiente Theta de Carmines de 0.964, que pueden ser considerados como ciertamente muy altos.

En la Tabla 5 aparecen las correlaciones entre todos los items de la escala, así como las correlaciones múltiples de cada item con todos los demás.

De nuevo los datos de la Tabla 5 muestran una elevada consistencia interna, con una correlación media entre los items de 0.625, un valor máximo de 0.944 entre los items 3 y 4, y un valor mínimo de 0.282 entre los items 1 y 13. Las correlaciones múltiples son también muy elevadas, con un valor máximo para el item 15 (0.957), y el más bajo para el 14 (0.442).

En suma, respecto a la consistencia interna de la escala puede decirse que reúne las condiciones idóneas, pues raramente, si alguna vez, se obtiene empíricamente valores por encima de los aquí encontrados.

ANALISIS FACTORIAL DE LA ESCALA

La matriz de correlaciones se sometió a un Análisis Factorial de Componentes Principales, con rotación oblicua de los factores con valores propios mayores que la unidad. Se obtuvieron dos factores. El primer factor extraído explica el 66.38% de la varianza total de los datos y el 88.19% en el espacio definido por los factores. El segundo explica el 8.88% y 11.81% respectivamente. Los resultados aparecen en la Tabla 6.

El Análisis Factorial realizado pone claramente de manifiesto la elevada unidimensionalidad de la Escala, con un primer factor dominante en el que se saturan 13 de los 15 items, y un factor secundario formado por los items 1 y 2. La correlación entre ambos factores es de 0.496. Este comportamiento de los items 1 y 2 relativos a la asistencia regular de los profesores a las clases y al cumplimiento del horario estaba previsto en cierta medida al construir la escala, en el sentido de que no se dirigían en puridad al meollo central de lo que se pretendía evaluar, a saber, la excelencia docente, representada por el primer factor. Como a los soldados el valor, a los profesores universitarios la asistencia a clase y el cumplimiento del horario se les supone, por lo que cabía esperar poca variabilidad. Sin embargo, se consideró importante mantener esos dos items por dos razones fundamentales. La primera, como indicadores de un cierto tipo de validez de la encuesta, en el sentido siguiente. La Universidad de Oviedo lleva a cabo rutinariamente un control estricto, responsabilidad de los Decanos y Directores de Centro, de la asistencia a clase de los profesores, por lo que los resultados de un profesor en la encuesta pueden ser contrastados con sus datos reales. En el caso de incongruencia manifiesta este dato podría servir para anular el resto de las puntuaciones obtenidas en la escala, pues no hay ninguna razón para pensar que si ese dato es erróneo no lo vayan a ser lo demás. En segundo lugar, con su inclusión se pretende recordar a los profesores el hecho obvio de la necesidad de llevar a cabo puntualmente la labor por la que se les paga. En cuanto a la Universidad de Oviedo, obsérvese que la puntuación media más elevada (Tabla 2) se obtiene precisamente en los item 1 y 2, con medias de 4.2 y 4.1 respectivamente. De un modo sintético podría decirse que los datos confirman que, obviamente, la asistencia regular a las clases y el cumplimiento del horario es condición necesaria, pero no suficiente para una eficaz labor docente. Los datos del Análisis factorial exploratorio, así como todo lo dicho, queda sintetizado de un modo compacto en el Análisis Factorial Confirmatorio (Jóreskog, 1969) de la Tabla 7, con un excelente ajuste para el modelo global de 0.992 (Procedimiento utilizado: U.L.S.).

Puede afirmarse como conclusión de los análisis de las propiedades métricas de la Escala, que su fiabilidad, estimada como consistencia interna, así como su validez de constructo son excelentes.

ITEMS	FACTOR 1	FACTOR 2
03 15 08 05 04 06 12 10 07 13 11 09 01 02 14	0.974 0.958 0.954 0.916 0.905 0.897 0.873 0.854 0.819 0.727 0.690 0.668 - - - - - - 0.415	- - - . - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 0.956 0.885 - - -

Tabla 6. Análisis Factorial de la escala (se ha prescindido de los pesos < 0,35).

MODIFICACIONES INTRODUCIDAS EN LA ESCALA

Tras esta primera aplicación de la Escala en el curso 1989-90, se han introducido unas ligeras modificaciones en la versión que se va a utilizar en el curso 1990-91 (véase Tabla 8). En concreto se ha creado al final de la escala una breve sección de tres items dirigidas a evaluar la opinión del alumno acerca de la asignatura en sí misma, y no acerca del profesor, en la medida que ello es separable. El item 11 se ha trasladado a esta sección (ahora item Al), por considerar que en puridad se dirige a evaluar aspectos instrumenta les de la disciplina que no siempre dependen exclusivamente de la voluntad del profesor, tales como son laboratorios, clínicas, ordenador, etc. Por tanto la escala para evaluar a los profesores queda ahora reducida a 14 items. Los otros dos items de esta nueva sección tratan de conocer la opinión del alumno sobre la relevancia de la asignatura para su formación científico-profesional (item A2), y la dificultad de la materia (item A3). Aparte del valor intrínseco de esta información, los items A2 y A3 permitirán estimar en qué medida las evaluaciones de los profesores por parte de los alumnos vienen influidas por sus opiniones acerca de la relevancia y dificultad de la asignatura.

REFERENCIAS

Aleamoni, L. M. (1987). Techniques for evaluating and improving instruction. San Francisco: Joseey-Bass.

Bolanowski, S. J. y Gescheider, G. A. (eds). (1990). Ratio scaling of psychological magnitude. Hillsdale, NJ: LEA.

Bowers, J. K. (1989). Issues in developing a faculty evaluation system. Journal of Personnel Evaluation in Education, 3, pp. 31-38.

Centra, J. A. (1982). Determining faculty effectiveness. San Francisco: Jossey-Bass.

Cohen, J. (1983). The cost of dichotomization. Applied Psychological measurement, 7, pp. 249-253.

Cooper, W. H. (1981). Ubiquitous halo. Psychological Bulletin, 90, pp. 218-244.

Dawes, R. M. y Smith, T. L. (1985). Attitude and opinion measurement. En G. Lindzey y E. Aronson (eds), The handbook of social psychology. New York: Random House.

Dunn-Rankin, P. (1983). Scaling Methods. Hillsdale, NJ: Erlbaum.

Edwards, A. L. (1957). Techniques of attitude scale construction. New York: Appleton century Crofts.

Elton, L. (1986). Research and teaching: symbiosis or conflict. Journal of Higher Education, 15, pp. 299-304.

Feldrnan, K. (1987). Research productivity and scholarly accomplishments of college teachers as related to their instructional effectiveness: a review and exploration, Research in Higher Education, 26, pp. 227-298.

Gamble, J. (1985). The relationship between teaching and research: clear answers to che wrong questions? The Journal of Educational Thought, 19, pp.95-103.

Gescheider, G. A. (1985). Psychophysics: Method, theory and applications. Hillsdale, NJ: Erlbaum.

Gescheider, G. A. (1988). Psychophysical scaling. Annual Review of Psycholology, 39, pp. 169-200.

Gregoire, T. G. y Driver, B. L. (1987). Analysis of ordinal data to detect population differences. Psychological Bulletin, 101, pp,159-165.

Hambleton, R. K. y Swaminathan, H. (1985). Item response theory. Boston: Kluwer Academic Publishers.

Jones, L. V. y Appelbaum, M. I. (1989). Psychometric Methods. Annual Review of Psychology, 40, pp. 23-43.

Jöreskog, K. G. (1969). A general approach to confirmatory maximun likelihood factor analysis. Psychometrika, 34, 183-202.

Landy, F. J. y Farr, J. L. (1980). Performance rating. Psychological Bulletin, 87, pp. 72-107.

Landy, F. J. y Farr, J. L. (1983). The measurement of work performance: methods, theory, and applications. New York: Academic Press.

Likert, R. (1932). A technique for the measurement of actitudes. Archives of Psychology, nº 140 (completo).

Linn, R. L. (ed.), (1989). Educational Measurement. New York: Wiley.

Lissitz, R. W y Green, S. B. (1975). Effect of number of scale points in realiability: a monte carlo approach. Journal of Applied Psychology, 60, 10-13.

Lord, F. M. (1980). Applications of item response theory to practical testing problems. Hillsdale, NJ: LEA.

Lord, F. M. y Novick, M. (1968). Statistical theories of mental tests scores. Reading, Mass.: Addison-Wesley

Miller, R.I. (1987). Evaluating faculty for promotion and tenure. San Francisco: Jossey-Bass.

Millman, J. (ed.), (1981). Handbook of teacher evaluation, Beverly Hills, California: Sage.

Muñiz, J. (1990). Teoría de Respuesta a los Items. Madrid: Pirámide.

Muñiz, J. (1991). Introducción a los métodos psicofísicos. Barcelona: P.P.U.

Osgood, C. E., Suci, G. J. y Tannenbaum, P. H. (1971). The measurement of meaning. Chicago: University of Chicago Press.

Pittman, R. B y Slate, J. R. (1989). Faculty evaluation: some conceptual considerations, Journal of Personnel Evaluation in Education, 3, pp. 39-51.

Poulton, E. C. (1989). Bias in quantifying judgments. Hillsdale, NJ: LEA.

Rasmussen, J. L. (1989). Analysis of Likert-Scale data: a reinterpretation of Gregoire and Driver. Psychological Bulletin,1, pp. 167-170.

Seldin, P. (1984). Changing practices in faculty evaluation. San Francisco: Jossey-Bass.

Sherman, T., Armistead, L., Fowler, F., Barksdale, M y Reif, G. (1987). The quest for excellence in university teaching. Journal of Higher Education, 48, pp. 66-84.

Stevens, S. S. (1975). Psychophysics: introduction to its perceptual, neural and social prospecis. New York: Wiley.

Stufflebeam, D. L. (ed.). (1988). The personnel evaluation standards. Beverly Hills, California: Sage.

Thurstone, L. L. (1959). The measurement of values. Chicago: University of Chicago Press.

Torgerson, W. S. (1958). Theory and methods of scaling. New York: Wiley.

Traub, R. E. y Lam, Y. R. (1985). Latent structure and item sampling models for testing. Annual Review of Psychology, 36, pp. 19-48.

Van der Ven, A. H. (1980).Introduction to saling. New York: Wiley.

Weiss, D. J. y Davison, M. L. (1981). Test theory and methods. Annual Review of Psychology, 32, pp. 629-658.

Young, F. W (1984). Scaling. Annual Review of Psychology, 35, pp. 55-81.

Young, F. W. y Hamer, R. M. (1987). Multidimensional scaling, History, Theory and applications. Hillsdale, NJ: LEA.