APLICACIÓN DEL DISEÑO DE SERIES TEMPORALES MÚLTIPLES A UN CASO DE INTERVENCIÓN EN DOS CLASES DE ENSEÑANZA GENERAL BÁSICA

José Ramón Escudero García y Guillermo Vallejo Seco

Universidad de Oviedo

En los diseños de series temporales interrumpidas realizados con sujeto único, se presentan dos dificultades fundamentalmente: a) La primera estriba en que no aparece claro si los cambios aparecidos en la ejecución son debidos al conjunto de circunstancias introducidas por el experimentador (tratamiento), o a otro conjunto de circunstancias que puedan ocurrir al mismo tiempo. b) La segunda es la difícil generalización de los resultados obtenidos a partir de un único sujeto. Se presenta en este trabajo un caso al que se aplica la extensión de la técnica de análisis de los diseños de series temporales interrumpidas (modelos ARIMA) (Vallejo y Escudero, 1998) con ligeras modificaciones y se extiende a la utilización de varias variables respuesta registradas durante el tratamiento.

Application of a design of multiple time series to a case of intervention in two classrooms of primary education. In the designs of interrupted time series carried out with a single subject, two main difficulties appear. The first one lies in the fact that it isn’t quite clear whether the changes, which appear in the execution, are due to the circumstances introduced by the investigator (treatment) or to other circumstances that may occur at the same time. The second one consists in the difficult generalization of the results obtained from a single subject. In this work, we present a case to which we have applied the extension of the interrupted time series design analysis technique (ARIMA models) (Vallejo & Escudero, 1998) with slight modifications, and extending it to the use of several answer variables registered during the treatment.

En la Psicología y ciencias afines, cuando se trabaja con un caso individual, ha de tomarse la decisión de sí la relación entre la manipulación ambiental realizada por el profesional (psicólogo, educador...) y la conducta del organismo ha sido realmente demostrada. Para este fin se utilizan los diseños de series temporales interrumpidas. Una serie temporal no es más que una colección de datos tomados cronológicamente y que se asignan a una variable. De forma más técnica, una serie temporal es una secuencia de observaciones ordenadas en el tiempo (Z_t), de algún proceso subyacente. Se asume que el intervalo de tiempo entre la observación en el tiempo t (Z_t) y la observación realizada en el tiempo t+1 (Z_t+1) es constante para cualquier valor de t. De acuerdo don Pedhazur y Schmelkin (1991), este tipo de datos son coleccionados con dos propósitos fundamentales, por un lado, desarrollar modelos que expliquen los patrones de cambio a lo largo del tiempo (cambios de nivel, tendencias, ciclos, variaciones estacionales y movimientos residuales) y, por otro, como modelos de predicción o pronóstico.

El diseño cuasi experimental de series temporales interrumpidas fue propuesto inicialmente por Cambell y Stanley (1963) como un medio de evaluar cuán importante era el impacto de algún evento discreto o intervención en ambientes socio comportamentales de carácter aplicado. Dentro de tales ámbitos, el principal propósito de estos diseños, los cuales a juicio de Lewis-Beck (1986) son los más utilizados, es evaluar el efecto de la intervención intentando inferir si ha ocurrido o no un cambio en la serie como consecuencia de su aplicación y ver cuál ha sido el rumbo tomado. En Educación, estos diseños han sido utilizados para evaluar los impactos producidos por la introducción de programas educativos, campañas de mejora de la calidad de vida, prevención de trastornos, etc. Cambell y Stanley (1963) recomiendan su empleo en aquellas situaciones en que la institución (una escuela u hospital) lleva a cabo registros periódicos de los sujetos institucionalizados, como parte de su procedimiento regular de actuación. Lewis-Beck (1986), Manly (1992), Mohr (1992), Cook y Campbell (1979), Cook y Shadish (1994), Huitema y Mckean (1991), Rushe y Gottman (1993), Glass, Wilson y Gottman (1975) y McDowal et al. (1980) aluden a numerosas situaciones donde estos diseños han sido implementados, bien sea a través de los distintos ejemplos reales que analizan, o bien sea a través de las variadas investigaciones de carácter aplicado que citan por haber utilizado esta metodología.

La decisión de sí hay o no una relación funcional entre la variable intervención (conjunto de manipulaciones ambientales) y la ejecución recogida en la serie temporal, ha venido realizándose bien mediante inspección visual de la representación gráfica de la serie temporal bien aplicando técnicas estadísticas.

En cuanto a la inspección visual de la representación gráfica de la serie temporal, muy utilizada en la investigación operante y en modificación de conducta, no parece a juicio de multitud de autores una técnica muy fiable. Dentro de la misma investigación operante, varios autores (Kelley, McNeil y Newman, 1973) han sugerido la necesidad de reconsiderar el status de la inferencia estadística dentro de la metodología operante. Otros autores (Battig, 1958, Jones, Weinrott y Vaught, 1978), Glass et al., (1974) llegan a la conclusión del peligro de aceptar diferencias producidas por azar en las series y de que existe una amplia variación en cómo los sujetos evalúan los gráficos y de la gran disparidad existente entre la inspección visual y la evaluación estadística. DeProspero y Cohen (1979) encuentran baja correlación entre los juicios de diversos jueces (0.61). Knapp (1982) llega a la conclusión de la efectividad del tratamiento depende de la técnica gráfica empleada, es decir, ante una serie temporal concreta los jueces concluyen la efectividad del tratamiento cuando se representa con una técnica gráfica, mientras que la misma serie se representa con otra técnica, se concluye la no efectividad del tratamiento. Matyas y Greenwood (1990), tras llevar a cabo varios experimentos y una exhaustiva revisión de la literatura existente en torno a la técnica del análisis visual, presentan datos originales en los que demuestran como la técnica del análisis visual, además de no ser fiable, es en exceso liberal. En concreto, los autores citados descubrieron que los analistas visuales, en numerosas ocasiones reivindicaban intervenciones significativas cuando de hecho no se habían producido; por el contrario, raramente fallaban en detectar efectos verdaderos, aunque el tamaño de tales efectos fuese relativamente modesto.

En cuanto a la evaluación estadística se han empleado pruebas tradicionales como la t de Student o el análisis de varianza de Fisher. Sin embargo, como han resaltado Box y Tiao (1975) estas pruebas son aplicables cuando las observaciones, registradas durante la línea base y la fase de intervención, varían en torno a sus respectivas medias normalmente, con varianza constante e independientemente. La violación de estos supuestos, y especialmente del último produce alteraciones en los niveles de significación de las pruebas que pueden hacerlas inservibles.

Actualmente, la opinión más generalizada entre los investigadores (Busk y Marascuilo, 1988; Sharpley y Alavosius, 1988; Suen, 1987; Suen y Ary, 1987; Greenwood y Matyas, 1990) sostiene que los datos registrados a lo largo del tiempo presentan, generalmente, dependencia serial.

Extensión del análisis de series temporales con más de una unidad y más de una variable respuesta

Para evitar el problema de la autocorrelación en los datos obtenidos al aplicar un diseño de series temporales interrumpidas, la aplicación de los modelos ARIMA es una de las aproximaciones más novedosas y prometedoras en el campo de la Psicología y de la Educación. A la hora de comprobar si el tratamiento aplicado ha sido relevante, es decir, si ha habido efecto intervención se vienen aplicando dos aproximaciones:

a) Los modelos de función de transferencia, como son conocidos en ingeniería, modelos econométricos dinámicos en economía o regresión dinámica (Peña 1985), que permiten medir como se transmiten los efectos entre variables.

Esta aproximación ha sido desarrollada por Box y Tiao (1965, 1975), Tiao y Box (1983) y Tiao (1985).

b) La aproximación de Glass, Wilson y Gotman (1975). Los datos originales son transformados en series independientes con el fin de que cumplan el modelo lineal general.

En los diseños de series temporales interrumpidas realizados con sujeto único, se presentan dos dificultades fundamentalmente: la primera estriba en que no aparece claro si los cambios aparecidos en la ejecución son debidos al conjunto de circunstancias introducidas por el experimentador (tratamiento), o a otro conjunto de circunstancias que puedan ocurrir al mismo tiempo. La segunda es la difícil generabilidad de los datos obtenidos a partir de un único sujeto. En primer lugar abordaremos la primera dificultad sin necesidad de recurrir, necesariamente, a la repetición de las fases.

En muchas ocasiones, del cambio que se pretende producir con la introducción de un tratamiento, pueden producirse más de un tipo de respuesta. Si se registran varios tipos de respuesta modificados por el tratamiento y se evalúan todos, el hecho de que más de una variable respuesta varíe significativamente con la introducción del tratamiento, hace que la relación entre tratamiento y cambios en la ejecución sea más robusta.

En cuanto a la segunda dificultad, la difícil generabilidad de los resultados obtenidos a partir de un solo sujeto, podría mejorarse con la introducción en un mismo análisis de varias unidades (Vallejo y Escudero, 1998).

Si se aplica un mismo tratamiento a más de un sujeto, la extensión del análisis a varias unidades podría hacerse de la siguiente manera:

1ª Formación de una serie temporal mediante la unión, una a continuación de otra, de las varias series obtenidas en las distintas unidades de análisis.

2º Hallar la regresión de esta serie sobre una (o varias) variable ficticia que refleje bien la introducción del tratamiento o los efectos producidos por el tratamiento.

3º Hallar los errores de la regresión y comprobar si cumplen las hipótesis básicas del modelo lineal.

4ª En caso de no cumplirlas, estimación del modelo ARIMA que siguen los errores.

5º Transformación de las distintas matrices empleadas en la regresión mediante la ecuación deducida del modelo estimado, según se ha realizado más arriba.

6º Realización de la regresión con las variables transformadas.

7º Evaluación de la significación de los distintos parámetros.

A continuación se aplican las anteriores ideas a la comprobación de la eficacia de una intervención en dos clases de E.G.B.

Mejora de la atención y optimización del tiempo en dos clases de EGB

Objeto de la experiencia

En esta experiencia se pretende reducir el tiempo que transcurre entre la entrada de un profesor en un aula de séptimo de E.G.B y un aula de octavo de E.G.B. y el momento en el que los alumnos muestran una actitud adecuada para comenzar las actividades del aula, así como el número de interrupciones que durante la explicación ha de hacer el profesor debido a conductas no adecuadas o a falta de atención de algún alumno.

Descripción de la experiencia

La experiencia se lleva a cabo en dos aulas de EGB, una de séptimo con 33 alumnos y otra de octavo con 31 alumnos. La edad de los alumnos está comprendida entre los 12 y los 15 años.

En la clase de séptimo se utiliza un diseño de reversión A-B A-B, considerando al grupo como sujeto único. Durante las fases A (fases de línea base), la observación se hace de forma que los alumnos no se percaten de la misma. Al comenzar las fases B (fases de intervención), el profesor se dirige a los alumnos y les comenta que va a tomar notas del tiempo que ha de esperar a que todos atiendan para comenzar las actividades, así como del número de interrupciones que se produzcan a lo largo de las sesiones. Dependiendo del comportamiento habido durante la clase, otorgará puntos que permitirán la realización de actividades extraescolares. Durante las fases de intervención, la toma de datos se hará de forma ostensible para los alumnos. Entre la primera fase de intervención y la segunda fase se deja una semana sin tomar datos.

En la clase de octavo se utiliza un diseño simple A-B, donde las fases A y B significan lo mismo que en el otro grupo, y el resto de condiciones son idénticas.

Resultados

A) En la figura 1 pueden observarse la gráfica del número de conductas disruptivas ocurridas a lo largo de las distintas sesiones en la clase de séptimo, y en la figura 2 la correspondiente a la clase de octavo.

Análisis de los resultados

Realizamos los pasos indicados anteriormente con los datos obtenidos:

1º Formación de una única serie temporal, que será un vector constituido por los datos de la clase de séptimo y a continuación los obtenidos con la clase de octavo. La representación gráfica de esta nueva serie junto con los valores predichos por la recta de regresión que se realiza posteriormente se muestra en la figura 3.

2º Realización de la regresión de la serie temporal sobre variables ficticias creadas al efecto. La matriz de regresión empleada en este caso estaba formada nivel general de la serie (N), cambio de nivel dentro de cada serie (Cn), diferencias de nivel entre series (Ne) y diferencias de cambio de nivel entre las series(Cne) definida de la siguiente forma:

Los parámetros de regresión se obtienen mediante la ecuación matricial:

La ecuación de regresión vendría expresada de la siguiente forma:

y = 12.275 - 11.275x₁ - 1.75x₂ + 3.227x₃

Los residuales de la regresión pueden observarse en la figura 4.

La serie muestra claros indicios de autocorrelación y se pasa a comprobar su existencia o no. Para ello hallamos la función de autocorrelación.

FUNCIÓN DE AUTOCORRELACIÓN
1- 12	.26	.18	.19	.16	.10	.09	.15	.22	.20	.06	.18	.18
ST.E.	.08	.09	.09	.09	.09	.10	.10	.10	.10	.10	.10	.11
13- 24	.03	-.01	0.0	-.04	-.01	.03	-.03	.08	-.08	-.07	-.04	-.01
ST.E.	.11	.11	.11	.11	.11	.11	.11	.11	.11	.11	.11	.11
25- 25	-.06
ST.E.	.11

CORRELOGRAMA

			I
1	0.257	+	IXXX+XX
2	0.180	+	IXXXX
3	0.195	+	IXXX+X
4	0.155	+	IXXXX+
5	0.097	+	IXX+
6	0.093	+	IXX+
7	0.151	+	IXXXX+
8	0.221	+	IXXXX+X
9	0.199	+	IXXXXX
10	0.055	+	IX+
11	0.182	+	IXXXXX
12	0.177	+	IXXXX+
13	0.028	+	IX+
14	-0.008	+	I+
15	-0.001	+	I+
16	-0.035	+	XI+
17	-0.008	+	I+
18	0.033	+	IX+
19	-0.031	+	XI+
20	0.079	+	IXX+
21	-0.076	+	XXI+
22	-0.067	+	XXI+
23	-0.037	+	XI+
24	-0.011	+	I+
25	-0.058	+	XI+

 

FUNCIÓN DE AUTOCORRELACIÓN PARCIAL
1- 12	.26	.12	.13	.07	.01	.03	.10	.16	.10	.08	.10	.07
ST.E.	.08	.08	.08	.08	.08	.08	.08	.08	.08	.08	.08	.08
13- 24	-.08	-.08	-.07	-.09	-.01	.04	-.08	.05	-.11	-.02	0.0	.05
ST.E.	.08	.08	.08	.08	.08	.08	.08	.08	.08	.08	.08	.08
25- 25	0.0
ST.E.	.08

 

CORRELOGRAMA

 

			I
1	0.257	+	IXXX+XX
2	0.122	+	IXXX+
3	0.133	+	IXXX+
4	0.071	+	IXX+
5	0.011	+	I+
6	0.025	+	IX+
7	0.095	+	IXX+
8	0.157	+	IXXXX
9	0.097	+	IXX+
10	-0.083	+	XXI+
11	0.105	+	IXXX+
12	0.072	+	IXX+
13	-0.082	+	XXI+
14	-0.084	+	XXI+
15	-0.072	+	XXI+
16	-0.091	+	XXI+
17	-0.014	+	I+
18	0.040	+	IX+
19	-0.081	+	XXI+
20	0.049	+	IX+
21	-0.108	+	XXXI+
22	-0.016	+	I+
23	-0.003	+	I+
24	0.054	+	IX+
25	0.000	+	I+

Como puede verse a partir de la FAC y de la FACP los residuales, aunque no en gran medida, si están autocorrelacionados y a partir de estas funciones se postula un proceso autorregresivo de orden uno AR(1), que se estima a continuación:

Parámetro	Variable	tipe	factor	orden	estimación	err. st.	razón-t
1	VAR	AR	1	1	0.2606	0.0790	3.30

De cara a la validación del modelo se obtienen la FAC y la FACP de los residuales del modelo que frecen a continuación:

CORRELOGRAMA DE LA FAC

 

			I
1	-0.023	+	XI+
2	0.081	+	IXX+
3	0.111	+	IXXX+
4	0.098	+	IXX+
5	0.047	+	IX+
6	0.022	+	IX+
7	0.083	+	IXX+
8	0.159	+	IXXXX
9	0.142	+	IXXXX
10	-0.048	+	XI+
11	0.132	+	IXXX+
12	0.147	+	IXXXX
13	-0.018	+	I+
14	-0.029	+	XI+
15	-0.010	+	I+
16	-0.062	+	XXI+
17	-0.013	+	I+
18	0.033	+	IX+
19	-0.063	+	XXI+
20	0.116	+	IXXX+
21	-0.089	+	XXI+
22	-0.059	+	XI+
23	-0.025	+	XI+
24	0.010	+	I+
25	-0.039	+	XI+

 

CORRELOGRAMA DE LA FACP

 

			I
1	-0.023	+	XI+
2	0.080	+	IXX+
3	0.115	+	IXXX+
4	0.099	+	IXX+
5	0.036	+	IX+
6	-0.003	+	I+
7	0.057	+	IX+
8	0.149	+	IXXXX
9	0.145	+	IXXXX
10	-0.076	+	XXI+
11	0.064	+	IXX+
12	0.117	+	IXXX+
13	-0.037	+	XI+
14	-0.079	+	XXI+
15	-0.078	+	XXI+
16	-0.133	+	XXXI+
17	-0.052	+	XI+
18	0.049	+	IX+
19	-0.071	+	XXI+
20	0.060	+	IXX+
21	-0.081	+	XXI+
22	-0.045	+	XI+
23	-0.018	+	I+
24	0.055	+	IX+
25	0.032	+	IX+

Como los coeficientes de autocorrelación caen dentro de las bandas de no-significación (el modelo permite que algún coeficiente salga fuera de la banda) aceptamos el modelo como adecuado. El modelo quedaría X_t = 0,26x_t-1 + ε_t

A continuación se transforma las matrices utilizadas en la regresión mediante la ecuación x_t*= x_t - 0,26x_t-1, y realizamos de nuevo la regresión.

Los parámetros de regresión se obtienen mediante la ecuación matricial:

La ecuación de regresión vendría dada por la siguiente expresión

y = 12,703·L - 9,53 · x₁ - 0,06· x₂- 1,59 · x₃

En la figura 5 se muestra la serie filtrada y los valores predichos mediante la nueva regresión:

Los residuales de la nueva regresión se muestran en la figura 6:

A continuación se muestran los correlogramas de la FAC y de la FACP de los residuales que muestran la falta de autocorrelación:

CORRELOGRAMA DE LA FAC

 

			I
1	-0.021	+	XI+
2	0.081	+	IXX+
3	0.110	+	IXXX+
4	0.097	+	IXX+
5	0.046	+	IX+
6	0.023	+	IX+
7	0.084	+	IXX+
8	0.158	+	IXXXX
9	0.142	+	IXXXX
10	-0.048	+	XI+
11	0.131	+	IXXX+
12	0.148	+	IXXXX
13	-0.017	+	I+
14	-0.028	+	XI+
15	-0.009	+	I+
16	-0.061	+	XXI+
17	-0.013	+	I+
18	0.034	+	IX+
19	-0.062	+	XXI+
20	0.117	+	IXXX+
21	-0.088	+	XXI+
22	-0.057	+	XI+
23	-0.023	+	XI+
24	0.012	+	I+
25	-0.037	+	XI+

CORRELOGRAMA DE LA FACP

 

			I
1	-0.021	+	XI+
2	0.080	+	IXX+
3	0.115	+	IXXX+
4	0.098	+	IXX+
5	0.035	+	IX+
6	-0.002	+	I+
7	0.058	+	IX+
8	0.149	+	IXXXX
9	0.144	+	IXXXX
10	-0.076	+	XXI+
11	0.064	+	IXX+
12	0.118	+	IXXX+
13	-0.036	+	XI+
14	-0.078	+	XXI+
15	-0.077	+	XXI+
16	-0.131	+	XXXI+
17	-0.051	+	XI+
18	0.049	+	IX+
19	-0.071	+	XXI+
20	0.061	+	IXX+
21	-0.081	+	XXI+
22	-0.042	+	XI+
23	-0.016	+	I+
24	0.055	+	IX+
25	0.032	+	IX+

Ambas funciones de autocorrelación se ajustan a los límites de no significatividad por lo que se acepta la validez del modelo de regresión.

Aplicando la prueba de la t Student para la significación de los parámetros mediante la expresión , donde es el

i-ésimo coeficiente de la regresión obtenido, I= 0, S_E, es la raíz cuadrada de la varianza residual y c^ij es el j-ésimo elemento de la diagonal de la matriz (X’X)^-1, obtenemos t₁= 8,18, t₂= -6,80, t₃= -0,04, t₄= -15 para la hipótesis nula H0 : β_i= 0. Como t .05,>100= 1,96 se rechaza la hipótesis nula y se acepta la hipótesis alternativa para los dos primeros parámetros. El primer parámetro se refiere al nivel de la serie y el segundo, al cambio de nivel dentro de cada serie, es decir, es significativa la presencia o ausencia del tratamiento.

B) En la figura 7 puede observarse la gráfica del tiempo de espera (en segundos) antes de iniciar las actividades en la clase de séptimo y octavo de forma conjunta a como se hizo para el número de conductas disruptivas:

Los cálculos se realizan de forma paralela al apartado anterior. Las matrices empleadas en la regresión son:

Los parámetros de regresión se obtienen mediante la ecuación matricial:

La ecuación de regresión vendría expresada de la siguiente forma:

y = 55,175 - 42,875x₁ - 6,2x₂ - 4,48x₃

A partir de la FAC y de la FACP de los residuales se observó la presencia de fuerte autocorrelación y se identificó y estimó el modelo ARIMA que seguían que resultó ser un AR(4) con los coeficientes Φ₂ = Φ₃ = 0.

x_t= 0,33x_t-1 + 0,34x_t-4 + ε _t

A continuación se transforma las matrices utilizadas en la regresión mediante la ecuación x_t*= x_t - 0,33x_t-1 - 0,34x_t-4 y realizamos de nuevo la regresión.

Los parámetros de regresión se obtienen mediante la ecuación matricial:

Los residuales de la nueva regresión no se encuentran autocorrelacionados por lo que aplicando la prueba de la t Student para la significación de los parámetros mediante la expresión
, donde Î_i es el i-ésimo coeficiente de la regresión obtenida, I= 0, S_E es la raíz cuadrada de la varianza residual y c^ij es el j-ésimo elemento de la diagonal de la matriz (X’X)^-1, obtenemos t₁= 16,99, t₂= -13,16, t₃= 1,01, t₄= -0,16 para la hipótesis nula H₀ : β_i = 0. Como t _.05,>100= 1,96 se rechaza la hipótesis nula y se acepta la hipótesis alternativa para los dos primeros parámetros. El primer parámetro se refiere al nivel de la serie y el segundo, al cambio de nivel dentro de cada serie, es decir, es significativa la presencia o ausencia del tratamiento.

Battig, W.F. (1958). On the use of cumulative response curves in psychology. Psychological Reports, 4,731-741.

Box, G.E.P. y Tiao, G.C. (1975). Intervention analysis with applications to economic and environmental problems. Journal of American Statistical Association, 70, 70-79.

Box, G.E.P. y Tiao, G.C. (1965). A change in level of nonstationary time series. Biometrika, 52, 181-192

Busk, P.L. y Marascuilo, L.A. (1988). Autocorrelation in single-subjet research: Acounterargument to the mhyt of no autocorrelation.Behavioral Assessment, 10, 229-242

Cook, T.D. y Shadish, W.R. (1994). Social experiments: Some developments over the past fifteen years. Annual Review of Psychology, 45, 545-580.

Cook, T.D. y Campbell, D.T. (1979). Quasi-experimentation: Design and analysis issues for field settings. Chicago, IL: Rand McNally.

DeProspero, A. y Cohen, S. (1979). Inconsistent visual analysis of intrasubject data. Journal of Applied Behavior Analysis, 90, 57-68.

Glass, G.V., Willson, V.L. y Gottman, J.M. (1974). Time series analysis in behavioral sciences. Boulder: University of Colorado Press.

Glass, G.V., Willson, V.L. y Gottman, J.M. (1975). Design and analysis of time-series experiments. Boulder, CO: Colorado Associated University Press.

Greenwood, K.M. y Matyas, T.A. (1990). Problem with the application of interrupted time series analysis for brief singles-subject data. Behavioral Assessment, 12, 355,370.

Jones, R.R., Weinrott, M. y Vaught, R.S. (1978). Effects of serial dependency on the agreement between visual and statistical inference. Journal of Applied Behavior Analysis, 11, 227-283.

Kelley, F.J., McNeil, K. y Newman, I. (1973). Suggested inferential statistical models for research in behavior modification. Journal of Applied Behavior Analysis, 11, 277-283.

Knapp, T.J. (1983). Behavior Analysts’ Visual Appraisal of Behavior Change in Graphic Display. Behavioral Assessment, 5, 155-164.

Lewis-Beck, M.S. (1986). Interrupted time series. En W. D. Berry y M.S. Lewis-Beck. (Eds.), New tools for social scientists. Advances and applications in research methods. Beverly Hills, CA: Sage.

Manly, B.F. (1992). The Design and Analysis of Research Studies. Cambridge: Cambridge University Press.

Matyas, T.A. y Greenwood, K.M. (1990). Visual analysis of single-case tiem-series: Effects of variability, serial dependence, and magnitude of intervention effect. Journal of Applied Behavior Analysis, 23, 341-351.

McDowal, D., McCleary, R., Meidinger, E.E. y Hay, R.A. (1980). Interrupted Time Series Analysis. A sage Paper on Quantitative Applications in the Social Series, 07-21. Beverly Hills, Sage Publications.

Mohr, L.B. (1992). Impact Analysis for Program Evaluation. Beverly Hills, Sage Publications.

Pedhazur, E.J. y Schmelkin, L.P. (1991). Measurement, Design and Analysis: An Integrated Approach . Hillsdale, NJ: Lawrence Earlbaum Associates.

Peña, D. (1985). Estadística: Modelos y Métodos. Vol II: Modelos Lineales y Series Temporales. Madrid: Alianza Universidad.

Rushe, H.R. y Gottman, J.M. (1993). Essentials in the design and analysis of time-serie experiments. En G. Keren y Ch. Lewis (Eds.): A Handbook for Data Analysis in the Behavioral Sciences, pp. 493-528. Hillsdale. NJ: Lawrence Erlbaum Associates.

Sharpley, C.F. y Alavosius, M.P. (1988). Autocorrelation in behavioral data: An alternative perspective. Behavioral Assessment, 10, 243-251.

Suen, H.K. y Ary, D. (1987). Autocorrelation in applied behavior analysis: Myth or reality?. Behavioral Assessment, 9, 113-124

Suen, H.K. (1987). On the epistemology of autocorrelation in applied behavior analysis. Behavioral Assessment, 9, 113-124.

Tiao, G.C. y Box, G.E.P. (1983). An Introduction to Applied Multiple Time Series Analysis. Working Paper Nº 101. De Kalb, Illinois: Scientific Computing Associates

Tiao, G.C. (1985). ARMA models, intervention problems and outlier detection in time series. En E.J. Hannan, P.K. Krishnaiah y M.M. Rao (Eds.): Handbook of Statistics, Vol. 5 Time Series in the Time Domain, pp. 85-118. Amsterdam: North-Holland.

Vallejo, G. y Escudero, J.R. (1998). Análisis de diseños de series temporales múltiples. Análisis y Modificación de Conducta,24, 79-103.