APORTACIONES DE LOS MODELOS LOGIT EN EVALUACIÓN DE PROGRAMAS DE FORMACIÓN

Salvador Chacón Moscoso, Francisco Pablo Holgado Tello^* y José Luis Losada López^**

Universidad de Sevilla, * Universidad Nacional de Educación a Distancia y ** Universidad de Barcelona

Las condiciones inestables que caracterizan los contextos de intervención repercuten en la escasez de instrumentos estándares de evaluación desde los que obtener evidencias empíricas sobre los programas a evaluar. Frecuentemente éstos se operativizan en variables categóricas medidas mediante instrumentos ad-hoc. Bajo estas condiciones el modelo logit, basado en supuestos estadísticos flexibles, permite la modelización lineal de las variables del diseño del programa de intervención a evaluar. Se presenta un estudio aplicado, donde el modelo logit se utiliza en el programa de formación continua para el personal de administración y servicios de la Universidad de Sevilla. Se analiza cómo los objetivos evaluativos de este programa (Objetivos, metodología, valoración) predicen la satisfacción de los usuarios, entendiéndola como una dimensión relevante para la calidad del Servicio.

Logit modelling in training program evaluation. Unstable conditions of intervention contexts imply lack of standard instruments to evaluate programs. Frequently programs are translated into categorical variables using ad-hoc instruments. The logit modelling, with flexible statistical assumptions, allow the linear modelling of the intervention program design variables. We describe the theoretical basis of logit modelling and present an empirical study in the staff training program of the University of Sevilla. Objectives of the program (objectives, methodology and rating) predict participant satisfaction, showing its usefulness as a global quality criterion in the institution.

Hoy en día, cualquier institución se plantea entre sus objetivos ofrecer a sus usuarios servicios de calidad. En este marco, la formación está adquiriendo una importancia progresiva como instrumento para adaptar a las instituciones a las nuevas demandas sociales. En este sentido es necesario recabar información que permita valorar hasta qué punto los planes de formación contribuyen a la mejora institucional.

Las condiciones inestables que caracterizan el contexto en el que se implementan los programas de intervención tiene como consecuencia la falta de instrumentos estándares de evaluación. Ello conlleva que la delimitación empírica de los objetivos evaluativos se realice frecuentemente mediante variables categóricas (ordinales y/o nominales). En este marco de trabajo, los modelos de análisis logístico aportan una alternativa adecuada para estudiar más de dos variables cualitativas al mismo tiempo, así como calibrar el grado de asociación entre dichas variables (ya sea desde un planteamiento direccional o no). Por tanto, estos análisis pueden aportar indicios desde los que construir modelos explicativos y en consecuencia ayudar en la contrastación de hipótesis funcionales de relación entre las variables con objeto de optimizar el programa de intervención (Holgado, Losada, Chacón y Pérez-Gil, 2002).

El objetivo de este trabajo es mostrar la utilidad de los modelos logísticos para evaluar programas de intervención con métrica ordinal en sus variables. Para ello, en primer lugar, se describen las bases teóricas que justifican el uso de este análisis; y seguidamente su utilidad se muestra empíricamente describiendo el programa de evaluación implementado en el Centro de Formación y Perfeccionamiento del Personal de Administración y Servicios (P.A.S.) de la Universidad de Sevilla.

El binomio evaluativo-formativo

Entendemos los planes de formación como un esfuerzo sistemático y planificado para diseñar un conjunto específico de acciones y materiales con el propósito de modificar o desarrollar el conocimiento, las técnicas y las actitudes a través del aprendizaje, y conseguir con ello una actuación adecuada en una actividad o rango de actividades. En el ámbito de programas de formación continua se pretende capacitar al personal para que pueda realizar convenientemente su trabajo, que está sometido a una transformación constante (Buckley y Caple, 1991).

Si bien la formación va a permitir el desarrollo y mejora de las instituciones, al mismo tiempo que elaboramos un programa de intervención hemos de enjuiciar el valor o mérito de dichos planes con objeto de tomar decisiones sobre el mismo para fomentar la mejora continua. Debemos potenciar una relación constante entre el diseño y evaluación de la formación. La evaluación permite mejorar la planificación y estructura de los programas, calibrar y proponer cambios en las actividades, realizar un seguimiento sobre la implementación de las mismas, valorar qué sistema de datos es el más apropiado y descubrir, a través del trabajo conjunto entre las audiencias implicadas, cómo sienten los usuarios de la formación que se están satisfaciendo sus necesidades (North, 1997). Pero al mismo tiempo es difícil disponer de instrumentos estándares de evaluación debido, en la mayoría de los casos, al carácter idiosincrásico del contexto de los programas de intervención. De ahí que con el objeto de obtener información sobre las variables de interés se opte, muy frecuentemente, por la construcción de escalas tipo Likert (Anguera y Chacón, 1999; Anguera, Chacón, Holgado y Pérez-Gil, en elaboración).

Desde esta perspectiva, no entendemos la evaluación como una serie de técnicas aplicadas sólo con el propósito de seleccionar unos cursos mediante su rendimiento diferencial; tampoco se debe limitar a confeccionar ni a administrar tests, ni es simplemente un método para coleccionar datos y desarrollar balances que justifiquen la inversión realizada. La evaluación de la formación supone un procedimiento de análisis sistemático mediante métodos científicos para recabar datos que determinen la calidad de la formación, oriente el proceso de toma de decisiones y ayuden a mejorar tanto el programa en curso como futuras ediciones (Goldstein, 1991).

Uno de los aspectos más relevantes en el proceso de toma de decisiones, es la utilidad de los resultados evaluativos para los diversos implicados, tales como formadores, usuarios, responsables de formación o directivos, por ejemplo. La evaluación ha de saber captar las demandas de cada uno de ellos y traducirlas en información útil (Weiss, 1983; Rossi y Freeman, 1985; Wholey, 1994). Por ello, es necesario promover la participación de las distintas audiencias en el diseño y programación de los planes de formación a implementar (O`Neill, 1998).

De acuerdo con esta perspectiva, la evaluación debe planificarse de forma que no sea percibida como una amenaza para los implicados, sino que se ha de fomentar su cooperación, ya que el propósito no es valorar coercitivamente a las personas, sino mejorar el programa para favorecer el aumento de la calidad institucional (Rossi y Freeman, 1985; Basarab y Root, 1992). Además, mediante la interrelación de programación con evaluación se potencia la validez del proceso evaluativo, en el sentido de que aceptar y hacer explícitas las demandas y necesidades de los distintos implicados fomenta el consenso del referente evaluativo (el plan de formación, en nuestro caso), y de forma indirecta se favorece la efectiva implementación de lo programado, potenciándose por tanto la validez consecuencial (A.P.A, A.E.R.A y N.C.M.E, 1999; Chacón, Anguera, Perez-Gil y Holgado, 2002).

Evaluación en el Centro de Formación y Perfeccionamiento del P.A.S. de la Universidad de Sevilla

El propósito principal de la Unidad de Evaluación del Centro de Formación y Perfeccionamiento del P.A.S. es planificar y evaluar sistemáticamente todo el proceso formativo bajo la óptica de que la evaluación es la mejor forma para convertir a la formación en una herramienta útil para la mejora institucional. Desde este planteamiento, acorde con los desarrollos actuales en programas de intervención, el Centro enfatiza la dependencia mutua entre programación y evaluación.

Desde una perspectiva no lineal de evaluación, no sólo hemos de recabar datos sobre los resultados de las distintas acciones formativas, sino que hemos de intervenir a lo largo del desarrollo del programa, de tal forma que se pueda imbricar programación con evaluación en cuanto a necesidades, objetivos, diseño, implementación y resultados (ver Figura 1) (Chacón, López y Sanduvete, 2004).

En este trabajo enfatizaremos uno de los aspectos relacionados con la evaluación de resultados de las acciones formativas. En concreto, se trata de la evaluación de la reacción de los participantes a las acciones formativas. En la práctica, este tipo de evaluación se concreta en el análisis de la satisfacción de los participantes sobre distintas dimensiones implicadas en el proceso formativo (Basarab y Root, 1992; Kirkpatrick, 1999, Boada, Diego y Agulló, 2004). Para ello es muy frecuente la elaboración de instrumentos semi-estándar como las escalas tipo Likert, cuyo diseño se fundamenta, principalmente, en las características de la organización y del contexto formativo concreto.

La crítica principal en contra de este tipo de evaluación está vinculada al término que denomina a los cuestionarios de satisfacción «hojas de felicidad». Se plantea la escasa sensibilidad de esta medida para detectar aspectos a mejorar, a no ser que se trate de elementos muy sobresalientes (positivos o negativos) del programa de intervención (Thayer, 1991). Sin embargo, en los últimos años se han producido importantes avances en el desarrollo de análisis de datos categóricos, posibilitando el examen de modelos lineales y no-lineales de gran precisión para el tratamiento de respuestas categóricas dentro de los Modelos Lineales Generalizados. Entre ellos destacan los procedimientos basados en modelos logísticos, como el logit o la regresión logística, entre cuyas ventajas con respecto al análisis de regresión o al análisis discriminante se encuentra el hecho de asumir presupuestos estadísticos menos exigentes para los datos.

Modelos logit en evaluación de programas

La utilidad de los modelos logit en evaluación de programas abarca una gran diversidad de contextos de intervención. De esta forma, existen investigaciones desarrolladas en el ámbito laboral como la de Roy y Wong (1999) sobre incidencias en el incumplimiento por regulación del seguro y paro.

También investigaciones en el ámbito educativo como las de García, Alvarado y Jiménez (2000), que utilizan esta técnica para predecir el rendimiento académico en universitarios.

Crail y Fraas (1991), en su investigación sobre los jardines de infancia y la necesidad de un programa de intervención en la lectura, aplican el análisis logit a 121 estudiantes utilizados como grupo de control para validar un modelo de regresión logit que clasifique correctamente a los estudiantes de primer ciclo para participar en cursos de lectura.

Wilson, Stoker y McGrath (1999) plantean una investigación en la que intentan demostrar que los hábitos paternalistas de refuerzo positivo y negativo cambian el comportamiento de los hijos en función de sus intereses. Utilizan χ² y el análisis logit para el análisis de si castigar al niño mejora los hábitos de higiene personal.

Otra investigación, llevada a cabo por Goldberger (2000), trata sobre la elección que deben hacer los estudiantes en un momento determinado de su vida escolar, cuando tienen que optar por una carrera universitaria o por un trabajo. En este caso se trabajó con una muestra de 1973 sujetos y el análisis logit se utilizó para predecir en función de las notas de cursos anteriores cuál sería la elección del alumno.

En el ámbito de los servicios sociales, investigaciones como las de Barbera y Breen (1991) estudian el impacto de los servicios de apoyo educativo en adolescentes empleando factores sociales como duración de los servicios, frecuencia e intensidad en su utilización, y otras variables de tipo psicosocial con medidas pre-post. Las conclusiones principales se basan en la regresión y el modelo logit, demostrando que el impacto más importante en las medidas de apoyo social depende del estilo educativo recibido por el grupo.

Como vemos la utilidad de los modelos logit es amplia en el aporte de información que oriente el proceso de toma de decisiones sobre las variables objeto de interés, a menudo operativizadas categóricamente mediante instrumentos no estándar. En este sentido, tras revisar los fundamentos metodológicos de la técnica de análisis, presentaremos una aplicación del modelo logit para evaluar programas de formación, intentando resaltar su utilidad en la toma de decisiones a partir de variables ordinales.

Fundamentos metodológicos de la técnica de análisis

Los modelos log-lineales y logit proporcionan una alternativa multivariante a las técnicas clásicas de análisis de datos categóricos. Concretamente, el término «logit» proviene de «log odd», que hace referencia al logaritmo natural de las odds (probabilidad relativa de que una respuesta se encuadre en alguna de las categorías de la variable dependiente), para ello utiliza variables predictoras tanto cuantitativas (regresión logística) como categóricas (análisis logit).

Como subraya Fienberg (1994) los modelos logit son apropiados cuando las variables independientes son variables del diseño que se pretenden manipular. Es en este punto donde radica una de las principales aportaciones de los modelos logit en evaluación, ya que la operativización de los constructos de interés, así como de sus niveles, se hace frecuentemente desde variables categóricas medidas mediante instrumentos no-estándar.

En consecuencia, cuando el investigador considera a un factor como variable dependiente y al resto de factores como variables explicativas, el modelo loglineal se convierte en un modelo logit con una ecuación estructural similar. El logit, como se ha indicado, es simplemente el logaritmo de las odds que pertenecen a una categoría en contraposición a otras categorías de la variable dependiente. El modelo logit es un caso particular del modelo loglineal, pudiéndose aplicar la misma metodología y teoría estadística (Ato y López, 1996).

El problema principal es conseguir asegurar que las estimaciones de la variable dependiente estén exclusivamente en el intervalo deseado, para lo cual se propone estimar una función de distribución que cumpla esta condición. En el modelo logit la función de distribución es logística, con media 0 y varianza π²/3.

donde; y= α + βx

Metodología

Muestra

La muestra que hemos utilizado para el estudio fue intencional y constituida por un total de 2754 sujetos pertenecientes al P.A.S., los cuales habían participado en programas del Centro de Formación y Perfeccionamiento de la Universidad de Sevilla.

Instrumentos

En el Centro de Formación y Perfeccionamiento del P.A.S. se administra un cuestionario donde se solicita al alumnado que valore una serie de aspectos referidos a los objetivos y contenidos de la acción formativa, metodología y ambiente, así como a la utilidad y valoración global de la misma. El cuestionario ha sido elaborado a partir de la revisión de otras pruebas y medidas de satisfacción empleadas por distintas unidades de formación, así como a partir de las aportaciones de los responsables técnicos y políticos del Centro (véase anexo). El estudio de la validez de constructo mediante análisis factorial exploratorio y confirmatorio usando correlaciones policóricas pone de manifiesto la existencia de las dimensiones teóricas mencionadas (Holgado, 2001).

De una versión inicial constituida por 72 ítems se obtuvo un cuestionario final de 12 ítems tipo Likert (1= totalmente en desacuerdo; 5= totalmente de acuerdo), que se agrupan en tres dimensiones:

a) Objetivos y contenidos (ítems 1-3);

b) Metodología y ambiente (ítems 4-9);

c) Utilidad y valoración global (ítems 10-12).

La escala obtiene una fiabilidad según el coeficiente α de 0.888 puntos (0,83 con datos dicotomizados); el índice de discriminación (correlación biserial-puntual) medio de los ítems de la escala es 0.674 para la muestra utilizada.

La aplicación informática utilizada para análisis y tratamiento de los datos ha sido el programa S.A.S. 8.2, aplicando el módulo LOGISTIC PROCEDURE.

Procedimiento

Con objeto de recabar el mayor número posible de cuestionarios, se administraban a los asistentes a las acciones formativas el mencionado cuestionario media hora antes de que finalizase la última sesión de trabajo. Una vez recogidos los cuestionarios, se remitían a la Unidad de Evaluación del Centro de Formación.

Resultados

Los resultados se obtuvieron a partir de la agrupación de los 12 ítems del cuestionario en tres variables explicativas o predictoras (objetivos, metodología y valoración). El criterio utilizado para esta agrupación fue la mediana para conseguir un dato por variable y sujeto, dado que cada una la configuraban 3 ítems de objetivos, 6 ítems de metodología y 3 ítems de valoración en el test original. Como variable dependiente se utilizó la variable «Satisfacción global» contemplada en los cuestionarios aplicados. Su escala de medida era ordinal, y se aplicó una transformación para convertirla en una escala dicotómica. Esta recodificación asignó a los valores 1 y 2 de la escala original el valor 0 (no satisfecho) en la escala transformada, y a los valores 3, 4 y 5 de la escala original el valor 1 (si satisfecho) de la escala transformada (Holgado, 2001).

El objetivo es encontrar un modelo que prediga si un sujeto esta satisfecho o no con el programa de formación continua (criterio) en función de tres predictores (A, B y C); (ver Figura 2).

Como el modelo logit no se ve afectado por proporciones de muestreo diferentes en sus datos (Maddala, 1980; Prentice, 1986) de las 2754 observaciones utilizadas en el análisis se desecharon 48 por falta de valores o por respuestas incorrectas.

Dado que en nuestro caso no teníamos unas expectativas predeterminadas para el planteamiento de modelos concretos, la selección del modelo se realizó utilizando el módulo LOGISTIC de S.A.S. 8.2 (SAS Institute Inc., 1989) a través del método Forward. Se siguieron diferentes criterios para comprobar la utilidad del modelo logit seleccionado. Se utilizaron los valores del test χ² y el estadístico de Wald (Ben-Akiva y Lerman, 1985) para evaluar si los parámetros estimados eran significativos. Para los criterios basados en la bondad de ajuste de los modelos a los datos, utilizamos el test de bondad de ajuste de Hosmer y Lemeshow (1989). El procedimiento LOGISTIC calculó este test además del test de cociente de probabilidad (likelihood ratio test), y los estadísticos del criterio de Akaike y del criterio de Schawartz (SAS Institute Inc., 1989) que se utilizaron como criterios secundarios para verificar el ajuste del modelo.

Finalmente se estudió la capacidad predictiva del modelos evaluada a través de tablas de clasificación de respuesta observadas y esperadas 2x2 (SAS Institute, 1989).

En la tabla 1 se observa como el modelo convergió en el paso 3, donde se introdujo la variable metodología, a partir de ella el criterio de convergencia no se cumplía (p>0’05) por lo que se desestimó la inclusión de nuevos efectos.

La tabla 2 muestra los parámetros estimados, sus errores estándares, los resultados de la prueba de Wald y su probabilidad asociada.

En este caso, las variables propuestas son adecuadas para predecir la «Satisfacción global», a través de la siguiente ecuación:

Se especifican los estadísticos del modelo bajo el supuesto de hipótesis nula (tabla 3) donde los efectos del modelo especificado conjuntamente son iguales a cero, en ningún caso hacen referencia a pruebas de bondad de ajuste.

Para el estudio de la bondad del modelo hemos utilizado la prueba de Hosmer-Lemeshow (1989) que toma un valor del estadístico χ² de 4.7593, con una probabilidad de 0.6893, mostrando un ajuste adecuado entre el modelo y los datos. Los estadísticos que se presentan en la tabla 4, son interesantes en el caso de plantear varios modelos para conocer cual de ellos se ajusta mejor. En nuestro caso resultan de poco interés al plantear únicamente un modelo seleccionado de forma automática (Forwad).

Por último, para el cálculo de las tablas de clasificación es necesario establecer un nivel de probabilidad o punto de corte para diferenciar observaciones en sucesos probables y sucesos improbables (Jamnick y Beckett, 1987). Este nivel se fija generalmente en 0.5 que es el punto medio de la distribución logarítmica. En nuestro caso definimos un nivel de probabilidad arbitrario de 0.01 para el modelo (tabla 5) que clasifica correctamente el 99.68% de los sujetos satisfechos y el 44.72 % de los no satisfechos.

Discusión y conclusiones

En respuesta a los cambios en los sistemas de trabajo, las instituciones se han visto en la necesidad de implementar programas de formación que capaciten a sus trabajadores para responder a las demandas sociales de servicios de calidad. La formación se ha convertido en un instrumento para el fomento de la calidad, pero para que sea una herramienta eficaz de mejora ha de responder a las necesidades y directrices de la institución, así como a las demandas de las audiencias implicadas.

Programación y evaluación pueden considerarse aspectos mutuamente dependientes, de tal forma que sería más adecuado hablar del binomio «programación–evaluación». En este proceso de interrelación es destacable el importante valor de la metodología como herramienta de mejora mediante el fomento de una gestión de calidad, que se adapte tanto a las necesidades organizacionales como a las de los usuarios.

Como consecuencia del carácter categórico de los datos que usualmente se manejan en la investigación social los modelos logit han ampliado las posibilidades analíticas al uso, lo cual enriquece el proceso de toma de decisiones a partir de una información valiosa, llena de matices y de alta calidad.

En un contexto de intervención, como los programas de formación, el análisis logit ha permitido construir un modelo lineal explicativo, tomando como VD la satisfacción (criterio de calidad) y como VIs determinadas variables evaluativas operativizadas categóricamente y referidas a objetivos, diseño y resultados de la formación. En este sentido, para optimizar el proceso de toma de decisiones y mejorar la calidad global de la formación, hemos de fomentar la pertinente implementación de dichas variables evaluativas al contexto de intervención.

Como resultados concretos hemos encontrado que los objetivos evaluativos pueden predecir la satisfacción de los participantes. En este sentido para incidir en la mejora institucional mediante la formación hemos de adecuar los objetivos (A) a las necesidades formativas, realizar un diseño pertinente que promueva una metodología (B) formativa efectiva, y potenciar la utilidad (C) de las acciones formativas para que se traduzcan en ejecuciones concretas en los puestos de trabajo. Las evidencias empíricas obtenidas mediante el análisis logit muestran que incidir en tales aspectos promueve la satisfacción de los participantes, entendida esta como criterio de calidad de la intervención formativa implementada.

Agradecimientos

El presente trabajo forma parte de los resultados obtenidos en el proyecto de investigación BSO2000-1462, subvencionado por el Ministerio de Ciencia y Tecnología.

American Psychological Association, American Educational Research Association, and National Council on Measurement in Education (1999). Standards for educational and psychological testing. Washington, DC: American Psychological Association.

Anguera, M.T. y Chacón, S. (1999). Dimensiones estructurales de diseño para la evaluación de programas. Apuntes de Psicología, 17(3), 175-192.

Anguera, M.T., Chacón, S., Holgado, F.P. y Pérez-Gil, J.A. (en elaboración). Instrumentos de evaluación. En M.T. Anguera, S. Chacón y A. Blanco (coor.): Evaluación de programas sociales y sanitarios: un abordaje metodológico. Madrid: Síntesis.

Ato, M. y López, J.J. (1996). Análisis estadístico para datos categóricos. Madrid: Síntesis.

Barbera, S. y Breen, M. (1991). The impact of educational support services on teen mothers: findings an recommendations from the adolescent parent services evaluation. Asp Association paper.

Basarab, D.J. y Root, D.K. (1992). The training evaluation process. Boston: Kluwer Academic Publishers.

Ben Akiva, M., Lerman, S.R. (1985). Discrete Choice Analysis: theory and application to travel demand. Cambridge, MS: The MIT Press.

Boada, J., Diego, R. y Agulló, E. (2004). El burnout y las manifestaciones psicosomáticas como consecuencias del clima organizacional y de la motivación laboral. Psicothema, 16(1), 125-131.

Buckley, R. y Caple, J. (1991). La formación: teoría y práctica. Madrid: Díaz de Santos.

Chacón, S., Anguera-Argilaga, M.ª T., Pérez, J.A. y Holgado, F.P. (2002): a mutual catalytic model of formative evaluation: the interdependent roles of evaluators and local practitioners. Evaluation. The International Journal of Theory, Research and Practice, 8(4), 413-432.

Chacón, S., López, J.M. y Sanduvete, S. (2004). Evaluación de acciones formativas en Diputación de Sevilla. Una guía práctica. Sevilla: Diputación de Sevilla.

Crail, J. y Fraas, J.W. (1991). The use of kindergarten screening scores to identify the need for reading intervention: a logit regression study. Paper presented at the annual meeting of the mid western educational research association (13th, Chicago, IL, april 16-19, 1991).

Fienberg, S.E. (1994). Conflicts between the needs for access to statistical information and demands for confidentiality. Journal of Official Statistics, 10, 115-132.

García, M., Alvarado, J. y Jiménez, A. (2000). La predicción del rendimiento académico: regresión lineal versus logística. Psicothema, 12, 248-252.

Goldberger, S. (2000). School to career as a strategy to improve education and employment outcomes for urban youth: an impact evaluation of the pro Tech Program. Dissertation abstracts international. The Humanities and Social Sciences, 61(5), 2.059-A.

Goldstein, I.L. (1991). Critical training issues: past, present and future. En I.L. Goldstein and Associates (eds.): training and development in organizations (pp. 1-21). San Francisco: Jossey-Bass.

Holgado, F.P. (2001). Evaluación institucional: alternativas metodológicas en la delimitación y mejora de la calidad universitaria. Tesis doctoral no publicada. Sevilla: Universidad de Sevilla.

Holgado, F.P., Losada, J.L., Chacón, S. y Pérez-Gil, J.A. (2002). Logistic regression and Logit models: a comparative analysis in program evaluation. 23rd Biennial Conference of the Society for Multivariate Analysis in the Behavioural Sciences, july 2002. Tilburg.

Hosmer, D.W. y Lemeshow, S. (1989). Applied logistic regression. New York: John Wiley & Sons.

Jamnick, M.S. y Beckett, D.R. (1987). A logit analysis of private woodlot owner’s harvesting decisions in New Brunswick. Canadian Journal of Forest Research, 18, 330-336.

Kirkpatrick, D. (1999). Evaluación de acciones formativas: los cuatro niveles. Barcelona: Training Club y Epise.

Maddala, G.S. (1988). Introduction to econometrics. New York: Macmillan Publishing Co.

North, W.H. (1997). The independent evaluation of the global environment facility pilot phase. En E. Chelimsky y W.R. Shadish (eds.): Evaluation for the 21st century: a handbook (pp. 311-329). Londres: Sage Publications.

O’Neill, M. (1998). Cómo enfocar la evaluación de la evaluación. Barcelona: Epise.

Prentice, R.L. (1986). A case-cohort design for epidemiologic chort studies and disease prevention trials. Biometrika, 73, 1-11.

Rossi, P.H. y Freeman, H.E. (1985). Evaluation: a systematic approach. Londres: Sage Publications.

Roy, A.S. y Wong, G. (1999). Incidence of non-compliance with unemployment insurance regulations and associated claimant characteristics. Evaluation and program planning, 22(3), 341-351.

SAS Institute, Inc. (1989). SAS/STAT User Guide, 8.2. North Carolina: SAS Institute Inc.

Thayer, P.W. (1991). A historical perspective on training. En I.L. Goldstein and Associates (eds.): Training and development in organizations (pp. 457-468). San Francisco: Jossey-Bass.

Weiss, C.H. (1983). Towards the future of stakeholders approaches in evaluation. En A.S. Bryk (ed.): Stakeholders-based evaluation (pp. 3-14). San Francisco: Jossey-Bass.

Wholey, J.S. (1994). Assessing the feasibility and likely usefulness of evaluation. En J.S. Wholey, H.P. Hatry y K.E. Newcomer (eds.): Handbook of practical program evaluation (pp. 15-39). San Francisco: Jossey-Bass.

Wilson, L., Stoker, R. y McGrath, D. (1999). Welfare bureaus as moral tutors: what do clients learn from paternalistic welfare reforms? Social Science Quarterly, 80(3), 473-486.