Psicothema, 2000. Vol. Vol. 12 (nº 3). 480-486

José Ramón Escudero y Guillermo Vallejo

Se examina el comportamiento de tres técnicas de análisis de diseños de series temporales interrumpidas: el modelo correctamente identificado, el enfoque de la transformación general y un enfoque alternativo propuesto por Escudero y Vallejo (1999). Se utilizaron datos simulados para investigar los efectos que dos modelos de intervención tenían en la estimación de los parámetros, tasas de error y tasas de potencia de 20 procesos ARIMA. Para las condiciones manipuladas, los resultados ponen de relieve: 1) que los tres enfoques proporcionan esencialmente los mismos estimadores de los parámetros, 2) que el enfoque alternativo mantiene controlada la tasa de error al nivel nominal cuando α = 0.05 y el modelo tiene más de un parámetro, en los casos restantes el enfoque se vuelve conservador y 3) que cuando el modelo de intervención es abrupto y constante el enfoque alternativo es menos potente que los otros dos enfoques, mientras que cuando el modelo de intervención es gradual y permanente la potencia de los tres enfoques es bastante similar.

Comparison of three alternative methods for the analysis of interrupted time-series. This paper examines three procedures for analyzing interrupted time-series designs. Particularly, the functioning of correctly identified model, the general transformation approach, and an alternative approach proposed by Escudero and Vallejo (1999). Simulated data were used for investigating the effects that two intervention models had on the estimation of parameters, error rates and power rates of 20 ARIMA processes. The results indicate that, under manipulated conditions: 1) the accuracy of estimates is essentially the same for all three approaches. 2) The alternative approach controls the Type I error rate when α = 0.05 and the model has more than one parameter; under the remaining conditions the model provides conservative rates of error. Finally, with an immediate and constant intervention effect the alternative approach is less powerful than the rest of the approaches; however, with an gradual and permanent intervention effect all three analyses provided equivalent results.

Una serie temporal sirve para designar un conjunto de observaciones tomadas cronológicamente en una variable dada. Datos que presentan la característica aludida son particularmente abundantes en las ciencias sociales, del comportamiento y de la salud, como ponen de manifiesto los índices que periódicamente se registran en relación con accidentes, precios, licencias, temperaturas, asistencias, altas, bajas, etc. Estos registros son de gran utilidad para establecer los valores de la variable cuyo comportamiento se quiere explicar, para caracterizar la estructura estadística de un proceso y, sobre todo, para desarrollar modelos que expliquen los patrones de cambio que ocurren a lo largo del tiempo. Los esquemas de acción que mejor se acomodan a esta clase de investigaciones son los diseños de series temporales interrumpidas.

El esquema más básico de un diseño de series temporales interrumpidas en las investigaciones de carácter aplicado, lo constituye un solo sujeto o grupo de sujetos considerado como una simple unidad de análisis en el cual se efectúan múltiples mediciones periódicas, en un esfuerzo por establecer el equivalente a la línea de base de los diseños operantes. Eventualmente, se introduce un tratamiento experimental en la serie temporal de observaciones, y el investigador busca determinar si se ha producido o no algún cambio como consecuencia de la intervención. Por ejemplo, cambios que resultan muy familiares a los investigadores son los cambios de nivel de la serie entre fases, los cambios de tendencia entre fases o ambos patrones de cambio a la vez.

Varios procedimientos estadísticos han sido propuestos para analizar esta clase de diseños, no obstante, dependiendo de la naturaleza de las observaciones unos pueden resultar más apropiados que otros. Los procedimientos analíticos tradicionales, tales como el análisis de la varianza o el usual análisis de la regresión, tan sólo en contadas ocasiones resultarán apropiados. A diferencia de los datos registrados transversalmente, los datos registrados longitudinalmente suelen estar afectados por la presencia de dependencia serial, lo que invalida la utilización de cualquier procedimiento que requiera para su correcta aplicación satisfacer el supuesto de independencia. Por ejemplo, Gottman y Glass (1978) encontraron que cuando el alpha teórico se fijaba en el .05, el alpha empírico se acercaba a .25 en presencia de una moderada correlación positiva y a .0005 cuando el signo de la correlación era negativo.

Por fortuna para los investigadores, en los casos donde los procedimientos estadísticos convencionales pueden resultar desencaminados, una serie de procedimientos alternativos se hallan actualmente disponibles. Unos y otros pueden ser construidos bien desde los datos, bien sobre la base de informaciones previas; no obstante, mientras unos requieren asumir una determinada estructura acerca de la matriz de covarianza de los residuales del modelo (modelos autorregresivos, modelos de media móvil, enfoque de la transformación general, etc.), otros no requieren contemplar dicho supuesto (análisis de perfiles univariado, análisis de perfiles multivariado, etc.).

Dentro del primer grupo, que dicho sea de paso va a ser donde se ubique nuestro trabajo, la solución más prometedora y también más practicada en el campo de las ciencias sociales y del comportamiento ha consistido en la adaptación efectuada por Glass, Willson y Gottman (1975) de la técnica de las series temporales, desarrollada inicialmente por Box y Tiao (1965) y Box y Jenkins (1970). Este enfoque se basa en la adaptación e integración dentro de una teoría comprensiva del análisis espectral utilizado en las ciencias físicas con datos de carácter continuo al análisis de datos de corte longitudinal, pero de carácter discreto. En los trabajos de estos autores, además de presentarse las aportaciones más novedosas en torno al tratamiento estocástico de las series temporales, se propone una metodología que permite llegar a modelar adecuadamente la estructura que sigue la parte sistemática (parte responsable de la dependencia serial) del componente estocástico de la serie bajo estudio. Modelamiento que se encuadra dentro de una clase paramétrica de procesos estocásticos lineales y discretos formados por los denominados autorregresivos, integrados y de medias móviles; procesos que reciben el nombre genérico de modelos ARIMA.

La técnica implica la construcción empírica de un determinado modelo matemático con el fin de extraer la posible dependencia serial existente entre los residuales del mismo. El proceso seguido en la formulación del modelo ARIMA consta de una estrategia iterativa de identificación, estimación y verificación. Superado este ciclo de construcción, el analista está en condiciones de evaluar el efecto que sobre la serie temporal puedan ejercer factores externos conocidos como intervenciones o impactos. A la hora de llevar a cabo la prueba de la hipótesis, dependiendo del carácter confirmatorio o exploratorio de la investigación, el analista puede especificar de antemano un modelo para la intervención sobre la base de algún conocimiento teórico previo, o bien formular el correspondiente modelo de intervención desde los datos aplicando una rutina que implica tener en cuenta, tanto la forma de aparición del impacto como su duración.

Básicamente, en las ciencias sociales y del comportamiento existen tres enfoques sólidamente establecidos para efectuar el análisis de la intervención mediante la aplicación de procedimientos basados en los modelos Box-Jenkins. La primera estrategia fue incorporada por Glass et al. (1975) y se basa en transformar las puntuaciones originales en observaciones independientes mediante un modelo ARIMA previamente identificado, incorporar el efecto de intervención pertinente y aplicar el criterio de los mínimos cuadrados ordinarios para verificar la significación de los parámetros estimados. Una segunda estrategia, bastante similar a la anterior, se debe a McCleary y Hay (1980) y se basa en identificar un modelo ARIMA adecuado, especificar el correspondiente modelo de intervención o función de transferencia y mediante algún algoritmo de optimización no lineal estimar los parámetros del modelo completo de transferencia. La tercera estrategia ha sido propuesta por Velicer y McDonald (1984, 1991) con el propósito de evitar el problema que conlleva la identificación del modelo cuando el tamaño de muestra es reducido. Con el procedimiento de la transformación general, nombre que suele recibir el enfoque de Velicer y McDonald, se procede de la misma forma que con el de Glass et al., con la salvedad que los datos no se transforman en función de un modelo ARIMA identificado, sino mediante un modelo autorregresivo asumido a priori de quinto orden.

Recientemente, Escudero y Vallejo (1999) han propuesto un nuevo procedimiento, en adelante enfoque alternativo, para evaluar el efecto de una intervención mediante los modelos ARIMA. La estrategia propuesta por Escudero y Vallejo implica seguir los tres pasos que siguen: En primer lugar, se construye el modelo ARIMA que sigue la serie completa y el que sigue la serie de observaciones de la línea base. En segundo lugar, se comprueba si los datos de ambas series se ajustan al mismo modelo estimado. En caso afirmativo se comprueba si la diferencia en la magnitud de los parámetros es significativa. Por último, para comprobar si la diferencia entre dos parámetros es significativa se toma el parámetro estimado con la línea base y con la desviación típica obtenida en las tablas publicadas por Escudero y Vallejo (1999) para la misma magnitud del parámetro y el mismo tamaño de muestra. A continuación, se construye el intervalo de confianza donde podría encontrarse el parámetro; si el parámetro estimado con la serie completa se encuentra fuera de este intervalo, se deduce la significación de la diferencia de los parámetros con un determinado nivel de confianza y, por tanto, la significación del tratamiento. El intervalo de confianza para Φ_i al nivel del 100(1-a) por ciento viene dado por: _i - z_α/2σ_Φi ≤ _i ≤ _i + z_α/2 σ_Φi, mientras que para θ_i viene dado por: _i - z_α/2σ_θi ≤ θ_i ≤ _i + z_α/2σ_θi. Si un determinado tamaño de muestra no se encuentra en las tablas, una aproximación razonable se puede obtener por interpolación.

En resumen, es un hecho innegable que el investigador interesado en evaluar los efectos del impacto mediante la metodología Box-Jenkins dispone de una oferta variada. Sin embargo, todavía esta por ver cual es el comportamiento empírico de alguno de estos enfoques, y tal vez pecaríamos de ingenuos si creyéramos que estos métodos ejercen el mismo grado de control sobre las tasas de error de Tipo I y que no exhiben diferencias en su potencia estadística. Por este motivo, el propósito del presente trabajo reside en comparar las tasas de error y las tasas de potencia de los enfoques propuestos por McCleary y Hay (1980), Velicer y McDonald (1984) y Escudero y Vallejo (1999).

Método

Para investigar el desempeño de las diferentes estrategias analíticas se realiza un estudio de simulación Monte Carlo con datos extraídos aleatoriamente desde distribuciones normales, y se examina la exactitud de los parámetros estimados, las tasas empíricas de error y la potencia estadística de las pruebas. Para ello manipulamos las tres variables que siguen: Tipo de proceso estocástico, valor de los parámetros y modelo de efecto de la intervención.

Con respecto a la primera variable, se seleccionaron los cuatro modelos ARIMA que se citan a continuación: Autorregresivo de primer orden [AR(1)], autorregresivo de segundo orden [ AR(2)], de media móvil de primer orden [MA (1)] y de media móvil de segundo orden [MA(2)]. La estructura relativamente sencilla de los modelos de series temporales elegidos se acomoda razonablemente a lo que la experiencia acumulada en el ámbito de las ciencias sociales y del comportamiento parece sugerir (Gottman y Glass, 1978; Judd y Kenny, 1981; Glass, et al. 1975).

En lo que se refiere a la segunda variable manipulada, la selección de los valores de los parámetros de los procesos AR(1) y MA(1) se realizó garantizando la representatividad del rango de valores aceptables para satisfacer las condiciones de estacionariedad (-1 < Φ₁ < 1) e invertibilidad (-1 <θ₁ < 1). Similarmente, los valores de los parámetros de los procesos AR(2) y MA(2) se eligieron de forma que quedasen representadas las seis áreas de las regiones de estacionariedad e invertibilidad, de acuerdo con las delimitaciones gráficas elaboradas por Stralkowski, Wu y Devor (1970, 1974). En las Figuras 1 y 2 aparecen recogidas las seis regiones de estacionariedad e invertibilidad para los parámetros de los modelos de segundo orden.

En la Tabla 1 se muestran los veinte procesos estocásticos seleccionados, representando a los cuatro modelos ARIMA especificados anteriormente.

Por lo que respecta a la última variable manipulada, los impactos siempre ocurrían en el punto medio de la serie y adoptaron dos formas diferentes. Por un lado, se contempló un modelo de intervención estático de carácter abrupto y permanente, donde para cada uno de los datos el nivel previo al tratamiento se igualó a cero y el cambio de nivel posterior al mismo se fijó en la unidad. Por otro lado, se contempló un modelo de intervención más dinámico de carácter gradual y constante, donde la magnitud de la intervención aumentaba progresivamente en una décima hasta estabilizarse en la unidad. El hecho de haber seleccionado la magnitud de la intervención igual a la unidad se debe a que, según se desprende del trabajo de Vallejo (1994), dicho efecto representa un valor que puede ser considerado lo bastante grande como para ser detectado analíticamente, pero lo bastante pequeño como para que el examen de los datos de forma gráfica encuentre dificultades para detectar de forma fiable el tratamiento. La evaluación de los modelos de intervención referidos para cada uno de los tres enfoques expuestos en la introducción, se efectúo programando convenientemente el paquete estadístico BMDP.

Para cada proceso ARIMA se generaron cien series, con 50 observaciones antes y después de la intervención, mediante un programa escrito en lenguaje BASIC a partir de los datos obtenidos mediante el comando RANDN del programa MATLAB (MATLAB, 1997). Cada serie empezó con una variable normal, con media cero y varianza igual a la unidad. Mediante este procedimiento se simularon 20 distribuciones de muestreo asociadas a los parámetros expuestos en la Tabla 1. Para evitar la posible dependencia entre las series, así como los artefactos debidos a la falta de estabilidad entre los valores iniciales de las series, se eliminaron las 100 primeras observaciones de cada muestra.

Para concluir este apartado, haremos una breve mención a la forma de conducir los análisis realizados. El grado de sesgo de los parámetros estimados se obtiene calculando el valor promedio, tanto parcial como global de los cuatro modelos ARIMA, bajo cada de los tres procedimiento analítico examinados. Los estimadores de los parámetros carecen de sesgos si los valores promedio se aproximan estrechamente al verdadero valor del parámetro. La eficiencia relativa de cada enfoque analítico se evalúa a partir de la estimación de los errores estándar. Mientras que las estimaciones empíricas correspondientes a la tasas de error de Tipo I y de potencia, se obtienen dividiendo el número de veces que la hipótesis nula y la hipótesis alternativa son indebidamente rechazadas por el de réplicas efectuadas, bajo cada uno de los niveles de significación utilizados.

Resultados

En la Tabla 2 aparecen recogidos los promedios parciales y globales correspondientes al efecto de intervención abrupto y permanente introducido en las series (I), al efecto intervención estimado desde las series simuladas (Î_a) y a los errores estándar (SE) asociados con los parámetros de los diferentes modelos ARIMA bajo los tres enfoques analíticos.

Como se puede apreciar examinando la citada tabla, la estimación del efecto de la intervención es esencialmente la misma para los tres enfoques. Asimismo, los errores estándar del modelo correctamente identificado y del enfoque alternativo son, por regla general, ligeramente menores que los correspondientes al enfoque de la transformación general. Con todo, los promedios globales que aparecen escritos negrita en la Tabla 2 muestran que las diferencias tienden a ser más bien pequeñas.

En la Tabla 3 aparecen recogidos los promedios parciales y globales correspondientes al efecto de intervención gradual y constante. En concreto, se ofrecen los promedios referidos al parámetro de cambio gradual estimado a partir de las series simuladas (Î_g) y los promedios de los errores estándar (SE) asociados con los parámetros de los veinte procesos estocásticos, bajo el enfoque de la transformación general y el modelo correctamente identificado. Tanto la magnitud de los parámetros estimados, como el tamaño de los errores estándar es muy similar bajo cada uno de los cuatro modelos ARIMA considerados.

En la Tabla 3 sólo aparecen recogidas las estimaciones correspondientes al modelo correctamente identificado y al enfoque de la transformación general, ya que el parámetro de cambio gradual no cabe estimarlo con el procedimiento denominado enfoque alternativo.

Por último, en la Tabla 4 aparecen recogidas las tasas empíricas de error y de potencia para los cuatro modelos ARIMA, bajo cada uno de los tres enfoques analíticos examinados. En la Tabla 4 también se distingue entre modelo de intervención de cambio abrupto y permanente y modelo de intervención de cambio gradual y constante. En la primera columna de la tabla aparecen reflejados los distintos modelos ARIMA seleccionados, en la segunda los diferentes enfoques analíticos utilizados y en las restantes las tasas de error y de potencia promediadas a través de los diferentes parámetros para cada modelo de intervención y nivel de significación utilizado.

Discusión

Por regla general, los datos de la Tabla 2 muestran que los tres enfoques analíticos proporcionan resultados prácticamente idénticos de Î_a, tanto en lo referido a los promedios parciales dentro de cada uno de los modelos ARIMA, como en lo referido al promedio global calculado a partir de ellos. Estos resultados ponen de manifiesto el carácter insesgado de los estimadores mínimo cuadráticos del modelo lineal general (Winer, 1971). En lo que a la estimación de los parámetros se refiere, los resultados correspondientes al enfoque de la transformación general y al modelo correctamente identificado, coinciden estrechamente con obtenidos por Vallejo et al. (1992).

Así pues, dado que los estimadores obtenidos mediante los tres procedimientos son prácticamente iguales, el análisis del sesgo de los mismos no nos permite determinar las diferencias entre ellos.

Si centramos nuestra atención en los errores estándar, desde la citada tabla se constata fácilmente, cómo los errores estándar correspondientes al modelo correctamente identificado y al enfoque alternativo tienden a ser ligeramente menores que los correspondientes al enfoque de la transformación general, si bien, como refleja el promedio global, estas diferencias son pequeñas. A diferencia de lo que ocurría con la estimación de los parámetros, los errores estándar obtenidos en este trabajo son sensiblemente menores que los encontrados por Vallejo et al. (1992). Una explicación plausible de este hecho puede residir en el distinto paquete estadístico utilizado en cada investigación, el programa SPSS en el trabajo de Vallejo et al. (1992) y el programa BMDP en la presente trabajo.

De los datos expuestos en la Tabla 3 se deduce que, tanto el modelo correctamente identificado, como el enfoque de la transformación general ofrecen resultados prácticamente idénticos del parámetro de cambio gradual. No obstante, es muy importante reseñar, que el enfoque de la transformación general ofrece errores estándar sistemáticamente mayores que los del modelo correctamente identificado. Este hecho, junto con el reseñado anteriormente para el modelo de intervención de cambio abrupto y constante, nos permite concluir que el modelo correctamente identificado proporciona estimadores más eficientes que el enfoque de la transformación general, sobre todo, cuando el impacto se manipula de manera gradual y constante. La Tabla 3 también pone de relieve que las estimaciones de los parámetros no sufren grandes cambios de un modelo a otro, ni cuando se varía el tamaño de los mismos ni cuando se cambia de región de estacionariedad e invertibilidad.

Por lo que respecta a las tasas empíricas de Error de Tipo I asociadas con la evaluación del impacto abrupto y constante, los datos de la Tabla 4 ponen de relieve que el modelo correctamente identificado se ajusta mejor que el modelo de la transformación general a los niveles a prefijados, comportándose este último enfoque de una forma más liberal. Cuando el umbral prefijado es α = 0.05, ambos procedimientos se ajustan con una menor diferencia relativa al nivel esperado, que cuando se considera el umbral α = 0.01. Por otro lado, los resultados referentes al enfoque alternativo muestran claramente que se trata de una prueba conservadora cuando el modelo tiene un solo parámetro, tanto si adoptamos el nivel α = 0.05 como el nivel α = 0.01. Cuando los modelos tienen más de un parámetro y el umbral se fija en el usual α = 0.05, el enfoque alternativo mantiene controlada la tasa de error al nivel nominal.

A su vez, por lo que respecta a la potencia de prueba, de los datos recogidos en la Tabla 4 merece destacarse, sobre manera, que el modelo correctamente identificado es más potente que el enfoque de la transformación general, tanto con α = 0.05 como con α = 0.01. La potencia de prueba del enfoque alternativo es, en todos los casos, inferior a la potencia de los otros dos métodos, sobre todo, cuando el nivel de significación elegido es α = 0.05; cuando el nivel considerado es α = 0.01 las diferencias son escasas.

El descubrimiento de que el modelo correctamente identificado constituye una elección más adecuada a la hora de evaluar la intervención que el modelo de la transformación general, no hace más que corroborar y generalizar los descubrimientos reportados por Vallejo et al. (1992) y, en cierta medida, por Harrop y Velicer (1985).

La consideración conjunta de las tasas empíricas del error de Tipo I y de potencia, muestra el enfoque alternativo, debido en buena medida a su mayor grado de conservadurismo, es menos sensible que los otros dos enfoques a la hora de detectar impactos abruptos y constante.

Por lo que se refiere a las tasas empíricas de error de Tipo I asociadas a la evaluación del impacto gradual, de los resultados ofrecidos en la Tabla 4 se desprende que, al igual que ocurre con cambio abrupto y constante, los niveles empíricos α se ajustan más estrechamente a su correspondiente valor teórico bajo el modelo correctamente identificado que bajo el enfoque de la transformación general, siendo siempre mayores los niveles del segundo enfoque.

También en este caso, ambos procedimientos se ajustan con una menor diferencia relativa al nivel esperado, cuando α = 0.05 que cuando α = 0.01. Los niveles empíricos de α obtenidos con el enfoque alternativo son sensiblemente menores que los esperados y sustancialmente menores que los obtenidos por los otros dos métodos. Cuando α = 0.05 el enfoque es conservador cuando el modelo tiene un parámetro y robusto cuando tiene dos. A su vez, cuando α = 0.01 el enfoque tiene un comportamiento conservador .

En las columnas correspondientes a la potencia de prueba se observa que el modelo correctamente identificado alcanza mayores valores que los obtenidos bajo los enfoques de la transformación general y alternativo, tanto en el nivel α = 0.05 como en el nivel α = 0.01, si bien estas diferencias son mínimas.

Considerando conjuntamente las tasas empíricas de error de Tipo I y de potencia, se desprende que los bajos niveles de error de Tipo I del enfoque alternativo no se traducen, en este caso, en una pérdida acentuada de sensibilidad, ya que el nivel de la potencia de prueba es muy similar a la de los otros dos procedimientos.

Antes de terminar, vamos a realizar un breve comentario del comportamiento de un proceso que puede considerarse, cuando menos, de chocante. En los procesos AR(1) con parámetro autorregresivo Φ = 0.8, los tres procedimientos proporcionan tasas de potencia más bajas que en el resto de los procesos AR(1), especialmente, el enfoque alternativo. En este caso, al analizar la línea base y la serie completa se apreciaban funciones de autocorrelación claramente diferentes, pero no lograban alcanzar el criterio de significación previamente establecido en el enfoque alternativo. Probablemente la razón de este comportamiento tan extraño haya que buscarla en que al generar series mediante un parámetro autorregresivo próximo a la unidad, algunos procesos resulten de recorrido aleatorio, más que autorregresivos de primer orden. De ser cierto lo dicho, más que ajustar la serie mediante el proceso utilizado en su generación, lo correcto sería proceder a eliminar la autocorrelación diferenciando la serie.

Para concluir, diremos que el enfoque alternativo no pretende ser un remedio aplicable en todos los casos, sino que tan sólo en aquellos en los que investigador considere que su comportamiento es superior al de sus rivales. El presente trabajo pone manifiesto con bastante claridad que el enfoque alternativo posee algunas propiedades bastante deseables para probar hipótesis de intervención y otras que no lo son tanto. De acuerdo con los descubrimientos obtenidos, no sería recomendable utilizar el enfoque alternativo cuando el investigador espera que como resultado de un impacto se produzca un cambio abrupto y permanente, pues en esta situación el susodicho enfoque resulta excesivamente conservador y, por ende, menos sensible que el modelo correctamente identificado y que el procedimiento de la transformación general. Sin embargo, su aplicación puede resultar de utilidad cuando se espera que el impacto provoque cambios graduales y constantes, pues, además de proporcionar tasas de potencia similares al resto de los enfoques, controla mejor que éstos la probabilidad de cometer errores de Tipo I cuando el número de parámetros se incrementa y a se fija en el usual 0.05.

Box, G.E.P. y Jenkins, G.M. (1970). Time Series Analysis: Forecasting and Control, 2nd Edition. San Francisco, CA: Holden-Day.

Box, G.E.P. y Tiao, G.C. (1965). A change in level of a nonstationary time series. Biometrika, 52, 181-192.

Escudero, J.R. y Vallejo, G. (1999). Nueva aproximación al análisis de los diseños de series temporales interrumpidas. Revista Electrónica de Metodología Aplicada, 4(2).

Glass, G.V., Willson, V.L. y Gottman, J.M. (1975). Design and Analysis of Time-Series Experiments. Boulder CO: Colorado Associated University Press.

Gottman, J.M. y Glass, G.V. (1978). Analysis of interrupted time-series experiments. En J.R. Kratochwill (Ed.): Single subject research: Strategies for Evaluation Change. New York, NY: Academic Press.

Harrop, J.W. y Velicer, W.F. (1985). A comparison of alternative approaches to the analysis of interrupted time-series. Multivariate Behavioral Research, 20, 27-44.

Judd, C.M. y Kenny, D. (1981). Estimating the Effects of Social Interventions. New York, NY: Cambridge University Press.

MATLAB. (1997). The Language of Technical Computing (ver., 5.1). Natick, MA: The Math Works, Inc.

McCleary, R. y Hay, R.A.Jr. (1980). Applied Time Series Analysis for the Social Sciences. Beverly Hills, CA: SAGE Publications.

Stralkowski, C.M., Wu, S.M. y Devor, R.E. (1970). Charts for the interpretation and estimation of the second order autoregressive model. Technometrics, 12, 669-685.

Stralkowski, C.M., Wu, S.M. y Devor, R.E. (1974). Charts for the interpretation and estimation of the second order moving average and mixed first order autoregressive-moving average models. Technometrics, 16, 275-285.

Vallejo, G (1994). Evaluación de los efectos de la intervención en diseños de series temporales en presencia de tendencias. Psicothema, 6(3), 503-524.

Vallejo, G, Herrero, J. y Cuesta, M. (1992). Comparación de la potencia y eficacia de diversos modelos ARIMA en series temporales interrumpidas: Un estudio de simulación. Revista de Investigaciones Psicológicas, 10, 174-214.

Velicer, F.W. y McDonald, R.P. (1984). Time series analysis without model identification. Multivariate Behavioral Research, 19, 33-47.

Velicer, F.W. y McDonald, R.P. (1991). Cross-sectional time series designs: A General Transformation Approach. Multivariate Behavioral Research, 26, 247-254.

Winer, B.J. (1971). Statistical Principles in Experimental Designs, 2nd edition. New York, NY: McGraw -Hill.