Psicothema, 2002. Vol. Vol. 14 (nº 4). 861-869

Paula Fernández y Guillermo Vallejo

Hemos diseñado un experimento de simulación Monte Carlo para examinar el comportamiento de cuatro procedimientos para el diagnóstico de la autocorrelación de primer orden: ρ_HCH, ρ_j, ρ_PP y ρ_WHS. Utilizamos dos estructuras de la matriz de correlaciones, AR y ARH, en un diseño de Grupos x Ocasiones (3xq) no balanceado bajo distribución normal y balanceado bajo seis distribuciones no normales. Los resultados ponen de relieve que la desigualdad en el tamaño de los grupos sólo afecta al procedimiento ρ_PP cuando la matriz es AR+, y al procedimiento ρ_WHS si la matriz es ARH. De otra parte, todos los estimadores son sensibles a la ausencia de normalidad, ρ_HCH y ρ_j son conservadores y ρ_WHS liberal para matrices AR+ y todos conservadores para matrices AR-, en mayor medida conforme mayor es la autocorrelación y menores son q y n_j.

Absence of normality and groups size inequality. Does it affect to autocorrelation estimation? We have undertaken a Monte Carlo simulation study to examine the behaviour of four procedures for the diagnosis of the first order autocorrelation: ρ_HCH, ρ_j, ρ_PP y ρ_WHS. We have used two correlation matrices structures, AR and ARH, in a Groups x Occasions (3xq) design unbalanced with normal distribution and balanced with six non-normal distributions. The results indicate that the groups size inequality affects only to ρ_PP procedure when the matrix is AR+ and to ρ_WHS procedure when the matrix is ARH. On the other hand, every procedures are sensible to the absence of normality, ρ_HCH and ρ_j are conservatives and ρ_WHS is liberal por AR+ matrices and every methods are conservative for AR- matrices, overcoat as much as smaller are q and n_j and elder is ρ.

Que los diseños de medidas repetidas sean unos de los más comunes en la investigación psicológica aplicada es algo que muchos autores desde hace al menos tres décadas vienen reconociendo (Keselman, Algina y Kowalchuk, 2001). Una estructura muy frecuente a la que estos diseños obedecen en áreas de la Psicología que someten a estudio el desarrollo o el aprendizaje es la del diseño de Grupos x Ocasiones. Ésta contiene un único factor A entre-sujetos (grupos) con j= 1,..., p niveles que contienen p muestras aleatorias de n_j unidades experimentales y que son observadas en un reducido número de ocasiones k=1,..., q (factor B intra-sujeto) resultantes de una elección sistemática de intervalos de tiempo fijos y equidistantes. Debido a la propia naturaleza del factor intra-sujeto (tiempo o edad) este procedimiento de recogida de datos es suSC_Eptible de manifestar el efecto secuencial de dependencia serial, siendo la de primer orden la más habitual (Keselman, Algina, Kowalchuk y Wolfinger, 1999). El estudio de la precisión de diversos procedimientos de cálculo de la autocorrelación de primer orden ha abundado en el contexto de la investigación conductual aplicada en diseños de series temporales cortas (Huitema y McKean, 1991, 1994; Arnau, 1999; Bono y Arnau, 2000), pero se le ha prestado escasa atención en los diseños de Sujetos o Grupos x Ocasiones (Fernández Vallejo y Escudero, 2002; Fernández y Vallejo, en prensa).

Recientemente, Fernández et al. (2002) han evaluado comparativamente mediante simulación Monte Carlo la precisión de nueve estimadores del parámetro autorregresivo de primer en diseños de medidas repetidas. Sus resultados pusieron de relieve que los procedimientos ρ_HCH (Hearne, Clark y Hatch, 1983), ρ_J (Jones, 1985), ρ_PP (Pantula y Pollock, 1985) y ρ_WHS (Wilson, Hebel y Sherwin, 1981) estiman correctamente el valor del parámetro, tanto para procesos con autorregresión positiva como negativa. En concreto, los procedimientos ρ_HCH y ρ_WHS estiman con independencia del valor que toman n_j, q y ρ, mientras que el procedimiento ρ_PP estima correctamente con independencia de ρ, dependiendo levemente de q y n_j. Por su parte, el procedimiento ρ_J era dependiente de n_j, q y ρ. Sus resultados también revelaron que la heteroscedasticidad intragrupo decreciente no afecta a ningún procedimiento, y si es creciente afecta sólo de modo significativo a ρ_PP, y en menor medida a ρ_WHS. Estos autores concluyeron que cuando la matriz subyacente tiene estructuras AR(1) (autorregresiva de primer orden estacionaria) o ARH(1) (autorregresiva de primer orden no estacionaria), por lo general, los procedimientos cuya estimación es robusta o cercana a la robustez y experimentan alguna variación en función de la intensidad de |ρ|, estiman mejor cuanto más pequeña es ésta y mayor es q. Sólo cuando son pocos los niveles de la variable intra-sujeto (q= 4 o 6) y/o q= 4 o 6 y |ρ| es elevada, es cuando el tamaño de la muestra es un factor determinante.

Desafortunadamente dos situaciones son tan adversas como habituales en la literatura educacional y psicológica, a saber: que el diseño sea no balanceado (Kowalchuk, Lix y Keselman, 1996; Keselman, Huberty, Lix et al., 1998) y que los datos se ajusten a una distribución no normal (Wilcox, 1994; Sawilowsky y Blair, 1992). A raíz de esto, y como complemento de la investigación ya comentada de Fernández et al. (2002), realizamos una nueva investigación Monte Carlo. El objetivo es observar el comportamiento de los procedimientos que mejor se ajustaban en la estimación de ρ en las condiciones por ellos investigadas (ρ_HCH, ρ_J, ρ_PP y ρ_WHS), pero, esta vez, en un diseño no balanceado y también en condiciones de no normalidad.

– ρ_HCH: Hearne et al. (1983), basándose en el trabajo de Koopmans (1942), derivaron la siguiente expresión para el cálculo MLE de ρ.

(1-1/q)A₂ ρ³- (1-2/q)A₁ρ²-{(1+1/q)A₂+A₃/q}ρ+A₁= 0 (1)

donde ρ es la raíz real más cercana a A₁/(A₂+A₃) que resulta de resolver (1). Siendo A₁, A₂ y A₃

– ρ_J: Jones (1985) propone para la estimación MLE el valor de ρ (-0.99 ≤ ρ < 0.99) que minimiza la expresión L(ρ)= -2 ln (verosimilitud). La fórmula para L(ρ) depende del tamaño relativo entre las sumas de cuadrados para el error entre sujetos (SC_E) e intra sujetos (SC_I) calculados corrigiendo el valor de la autocorrelación como sigue:

Si (q-1) SC_E ≥ SC_I, entonces L(ρ)=N[(q-1)ln (SC_I/N(q-1))+ln(SC_E/N)-ln(1- ρ²)]

Si (q-1) SC_E < SC_I, entonces L(ρ)=N[qln ((SC_E+SC_I)/Nq)-ln(1- ρ²)]

– ρ_PP: Pantula y Pollock (1985)

Para estimar ρ, los procedimientos ρ_HCH , ρ_J y ρ_PP consideran el error entre sujetos.

– ρ_WHS: Wilson et al. (1981) desarrollan una estimación para el cálculo de la autocorrelación de orden uno que denominan subóptima, donde,

son respectivamente, el promedio de todas las posibles varianzas que pueden ser calculadas desde dos observaciones adyacentes, y el promedio de todas las posibles varianzas que pueden ser calculadass desde tres observaciones contiguas espaciadas dos unidades de tiempo dentro de un individuo. El promedio para el conjunto de individuos es S²_2,1 ,. ,. y S²_3,1,.,.,. Entonces:

ρ = 3(S²_3,1,.,. / S²_2,1,. ,.-1 (3)

Método

El comportamiento de los estimadores anteriormente expuestos fueron observados en un diseño de Grupos x Ocasiones (pxq) de medidas repetidas. Los niveles del factor A entre-sujetos (p) fueron constantes e igual a tres en todas las condiciones.

Seis variables fueron manipuladas: (a) ocasiones de medida (q), (b) tamaño total de la muestra (N), (c) estructura de la matriz de covarianza de la población (Σ), (d) igualdad/desigualdad de las matrices de covarianza entre grupos, (e) tamaño de los grupos igual/desigual (n_j) y (f) forma de distribución de la población.

Cuatro fueron las ocasiones de medida investigadas: q= 4, 6, 8 y 12 y tres los tamaños totales de muestra: N= 15, 30 y 48. Niveles del factor intra-sujetos (q= 4 y 8) y tamaños de muestra (N= 30 y 48) son comúnmente utilizados en las investigaciones educacionales y psicológicas (Kowalchuk, Lix y Keselman, 1996).

Hemos utilizado 2 estructuras de covarianza: AR y ARH. AR+ y AR- expresan la estructura de correlación serial de primer orden positiva y negativa, respectivamente. En ambas las varianzas son estacionarias y la correlación entre la kth y la k’th observación es ρ^{| k-k’|}. Considerado 8 grados de autocorrelación: ρ= [-0.8:0.8: (0.2)]. ARH+ y ARH- son matrices Σ con el mismo diseño de correlación serial positiva y negativa que las matrices AR, pero exhiben heterogeneidad intrasujeto y por tanto las varianzas varían a través de q en progresión geométrica creciente o decreciente. De cada una de ellas se contemplan dos condiciones de no estacionariedad: creciente y decreciente, las mismas que en Fernández et al. (2002) eran gravemente creciente y decreciente, donde nos remitimos para su construcción.

Utilizamos iguales y desiguales matrices Σ entre grupos para cada una de las estructuras precedentes. Cuando fueron distintas guardaban entre sí la razón: Σ₁=1/3 Σ₂ y Σ₃=5/3Σ₂. A pesar de que Fernández et al. (2002) no encontraron diferencias en el comportamiento de los estimadores con respecto a la situación de homogeneidad, consideramos oportuno someter a estudio la condición de heterogeneidad más adversa por ellos estudiada en las nuevas condiciones de esta investigación.

Las variables detalladas fueron comunes a las dos investigaciones que se llevaron a cabo, definiéndose cada una de ellas en función de las dos que restan:

Primera investigación: estudio de la precisión de ρ_HCH, ρ_J, ρ_PP y ρ_WHS para el cómputo de la autocorrelación de primer orden con datos normalmente distribuidos en un diseño no balanceado. Dos grados de desigualgad del tamaño de los grupos, moderado y severo se han utilizado. En el primero el coeficiente de variación del tamaño muestral fue C ≡. 16 y C ≡. 33 en el segundo. Los tamaños (n_j) desiguales de los grupos fueron, respectivamente: 4, 5 y 6 y 3, 5, 7 (N= 15); 8, 10 y 12 y 6, 10, 14 (N= 30); 13, 16 y 19 y 9, 16 y 23 (N= 48).

Segunda investigación: estudio de la precisión de ρ_HCH, ρ_J y ρ_WHS para el cómputo de la autocorrelación de primer orden con datos no distribuidos normalmente en un diseño balanceado. Seis condiciones se sometieron a estudio. En tres de ellas sólo se alteró la altura de la curva (curtosis): (a) γ₁= 0, γ₂= 4; γ₁= 0, γ₂= 5.9; γ₁= 0, γ₂= 8.5; en las otras tres se alteró el sesgo y la curtosis (b): γ₁= 1.5, γ₂= 4; γ₁= 1.8, γ₂= 5.3; γ₁= 2, γ₂= 6. Condiciones S₁... S₆, respectivamente.

Generación de datos. (a) distribución normal: vectores Z_ij independientes y normalmente distribuidos [N~(N, σ²) = N~(0,1)] fueron generados de acuerdo al algoritmo propuesto por Kinderman y Ramage (1976) implementado en el programa GAUSS (1997, V. 3.2.32). Los vectores de observaciones pseudoaleatorios y’_ij1,...,y’_ijq con matriz de varianzas-covarianzas Σ se obtuvieron a través de la descomposición triangular de Σ_j , Y’_ij= T Z_ij , donde T es la matriz triangular inferior que satisface la igualdad Σ_j = T T’. (b) distribuciones no normales: los vectores de observaciones fueron obtenidos en la forma que acabamos de indicar, con la salvedad de que los vectores Z_ij de variadas normales fueron transformados para que los datos se distribuyeran de modo no normal utilizando la distribución g y h de Hoaglin (1985). Son muchos los investigadores que han comprobado que en investigación aplicada, y particularmente en las ciencias conductuales, las distribuciones son sesgadas (Micceri, 1989; Wilcox, 1994; Sawilowsky y Blair, 1992). De otra parte, es habitual encontrar resultados de investigaciones de simulación cuyos datos se distribuyen de modo lognormal (γ₁= 1.75, γ₂= 5.90) y χ² ₍₃₎ (γ₁= 1,64, γ₂= 4). Utilizar la distribución g–h nos va a permitir, de una parte, manipular los valores de γ₁ y γ₂ del modo deseado, y, por otra, de ajustar los valores g y h para cada tamaño de muestra particular de modo que los valores de sesgo y curtosis se mantengan exactamente iguales para cada tamaño de muestra.

Resta señalar que se utilizó el lenguaje de programación GAUSS (1997) para elaborar los programas de simulación de ambas investigaciones.10⁴ replicaciones de cada condición fueron ejecutadas para cada uno de los estimadores sometidos a estudio.

Resultados

El criterio de robustez que consideramos para evaluar la bondad de los estimadores es que el sesgo empírico (SE) no exceda de .07. Consideramos que un procedimiento es ajustado si la estimación empírica (EEρ) está contenida en el intervalo ρ±.02. A pesar de que no existe una regla universal para este cometido esta medida cuantitativa ha sido considerada en el ámbito de las series temporales cortas (ver Arnau, 1999), y en nuestra opinión, constituye un criterio adecuado para juzgar la robustez.

En las tablas que siguen presentamos los resultados para un subconjunto seleccionado de combinaciones investigadas que muestran adecuadamente las diferencias que existen entre los procedimientos con respecto a la EEρ. No presentamos los resultados en condición de heterogeneidad entre grupos porque ninguno de los estimadores ha resultado afectado por la manipulación de esta variable.

Los resultados más destacables cuando la matriz de covarianza es AR y ARH están resumidos en la Tabla 1. Éstos que se exponen corresponden al diseño no balanceado donde C ≡ .33 debido a que con respecto a C ≡ .16 no se advirtieron diferencias con respecto a EEρ superiores a .02 para ninguno de los estimadores. Cuando Σ es ARH sólo mostramos los resultados para ρ_WHS que denominamos ρ_WHSD (ARH decreciente) y ρ_WHSC (ARH creciente) debido a que ρ_HCH y ρ_J no se ven afectados con respecto a la matriz autorregresiva estacionaria y ρ_PP experimenta estimaciones por encima de la unidad.

Bajo estacionariedad, los procedimientos ρ_HCH y ρ_WHS muestran un comportamiento ajustado independientemente de q, n_j, y del sentido e intensidad de ρ. Los estimadores ρ_J y ρ_PP son robustos cuando la matriz es autorregresiva negativa situándose ρ_J más al sur del intervalo cuanto menores son N, q y mayor es ρ, no obstante, ambos se ajustan conforme incrementa el tamaño de la muestra y el número de puntos de serie. Cuando la matriz es AR+ ρ_J es conservador para q≤6 y ρ≥.60 y ρ_PP liberal para q≤6 y ≥.40. Si q ≥ 8 ambos tienen un buen comportamiento.

Cuando la matriz es no estacionaria, ρ_HCH y ρ_J se ajustan con independencia de q, n_j y |ρ|. ρ_PP siempre estima por encima de la unidad, por eso, como se indicó anteriormente, no se exponen estos resultados. ρ_WHS mantiene la robustez salvo cuando la heteroscedasticidad es creciente, q= 4 y ρ= .80, que se comporta de modo liberal.

Los resultados más significativos se exponen en las Tablas 2-6. No se exponen aquellos cuando la autocorrelación negativa es ≤-.40 ya que los tres estimadores son robustos en todas las condiciones investigadas. Tampoco se muestran los resultados para ρ_PP porque la mayoría de las veces su estimación fue superior a la unidad.

Cuando la matriz es AR+ (Tabla 2) los tres procedimientos, ρ_HCH, ρ_J y ρ_WHS, resultan afectados ante la ausencia de normalidad. ρ_HCH y ρ_J son conservadores. ρ_HCH sólo cuando se incrementa la curtosis y empeorando conforme ρ≥.60. El segundo, si ρ= .40 sólo se ve afectado por el incremento de la curtosis pero si ρ≥.60 empeora para todas las condiciones estudiadas. ρ_WHS es liberal para ρ= .40 y .60 sólo cuando se modifica la curtosis. Si ρ= .80 es liberal para todas las condiciones de no normalidad.

Cuando Σ es AR- (Tabla 3) los tres estimadores son conservadores sólo si ρ≥-.60 y n_j= 5. ρ_HCH y ρ_WHS sólo están afectados por el incremento de la curtosis, sin embargo, cuando ρ= .80, ρ_J es sensible a todas las condiciones de no normalidad estudiadas.

Cuando la matriz que subyace a los datos es heteroscedástica creciente positiva (Tabla 4) los tres estimadores mantienen la misma tónica en el comportamiento que en condiciones de estacionariedad. ρ_HCH y ρ_J se comportan igual que entonces. ρ_WHS se comporta de modo mucho más agresivo, de modo más liberal, incluso cuando ρ= .20.

Si la matriz es ARH + decreciente (Tabla 5) los tres estimadores se comportan como en la condición de estacionariedad, quizá se aprecia, aunque tímidamente, que ρ_HCH y ρ_J son ligeramente más conservadores y ρ_WHS más liberal que entonces.

Cuando Σ es heteroscedástica negativa (Tabla 6) los resultados apenas difieren de los expuestos en la Tabla 3 cuando la matriz subyacente era homoscedástica. Todos los procedimientos son conservadores sólo cuando ρ≥-.60. ρ_HCH y ρ_WHS sólo resultan afectados por el incremento de la curtosis y ρ_J en todas las situaciones.

Discusión y conclusiones

Bajo estacionariedad, ρ_HCH y ρ_WHS tienen un comportamiento excelente con independencia de q, n_j y del sentido e intensidad de ρ cuando el diseño es no balanceado, manifestando, entonces, el mismo comportamiento que el observado por Fernández et al. (2002) cuando era igual el tamaño de los grupos. ρ_J y ρ_PP, que tienen un buen comportamiento cuando la autocorrelación es negativa, necesitan que q≥8 para lograrlo cuando la autocorrelación es positiva. Conforme el número de puntos de serie es menor, el primero se vuelve conservador y liberal el segundo a medida que incrementa ρ y decrementa N. Es destacable que ρ_J no difiere de lo encontrado por Fernández et al. (2002), pero sí ρ_PP, que para esta nueva situación abandona la robustez.

Cuando existe heterogeneidad de varianza intragrupo ρ_HCH y ρ_J no alteran el comportamiento que tenían para matrices AR. ρ_PP estima siempre por encima de la unidad y ρ_WHS resulta en alguna ocasión liberal sólo si es creciente. En cualquier caso, estos resultados no difieren de lo encontrado por Fernández et al. (2002).

Cuando la distribución es no normal y la matriz homoscedástica positiva, todos los procedimientos resultan afectados. ρ_HCH y ρ_J son conservadores, el primero sólo cuando se modifica la curtosis y el segundo en todas las condiciones. ρ_WHS es liberal en todas las condiciones. Cuando la autocorrelación es negativa los tres son conservadores cuando incrementa la curtosis y ρ_J también en el resto de condiciones.

Se mantiene la misma tónica anterior si la matriz es heteroscedástica, sea creciente sea decreciente. Es de destacar que si la no estacionariedad es creciente y la autocorrelación es positiva, ρ_WHS se comporta de modo mucho más liberal que cuando la matriz era estacionaria, pero si es negativa no se aprecian diferencias.

En resumen, con respecto a la investigación llevada a cabo por Fernández et al. (2002) para un diseño balanceado y distribución normal, destacamos que:

Cuando el diseño es no balanceado:

– No se produce ningún cambio en los estimadores estudiados cuando la autocorrelación es negativa, ya sea la matriz subyacente estacionaria o no estacionaria. Cuando es positiva, sólo ρ_PP resulta alterado manifestándose liberal, siendo aún peor su estimación si la matriz es no estacionaria.

– De nuevo, sólo ρ_J, ρ_PP y ρ_WHS dependen del tamaño de la muestra, pero este último sólo cuando la matriz es no estacionaria creciente positiva.

Cuando la distribución es no normal:

– Todos los estimadores son sensibles a la ausencia de normalidad del modo siguiente: cuando la autocorrelación es positiva, ρ_HCH se vuelve conservador y sólo es afectado por el incremento de la curtosis. Con respecto a ρ_PP y a ρ_WHS el primero estima de modo conservador y el segundo de modo liberal, pero ambos son sensibles a todas las condiciones de normalidad estudiadas. Cuando la autocorrelación es negativa todos se comportan de modo conservador, afectándoles a ρ_HCH y a ρ_WHS sólo el incremento de la curtosis y a ρ_J todas las condiciones estudiadas.

– La heterogeneidad intragrupo añadida a la ausencia de normalidad apenas modifica las estimaciones ya alteradas por esta última condición.

– Todos los procedimientos dependen de n_j, en mayor medida conforme |ρ|≥.60 y q≤8.

– Si la autocorrelación es negativa sólo afecta la ausencia de normalidad cuando ρ≥-.60. Si es positiva cuando ρ≥.40 y en raras ocasiones cuando ρ= .20.

Al igual que en la citada investigación, la heterogeneidad entre grupos no tuvo ningún efecto en ningún procedimiento y los estimadores dependen más de n_j, cuanto menor es q y mayor es ρ.

Agradecimientos

Este trabajo ha sido realizado gracias a la ayuda concedida por el MCT-2001-BOS-0410.

Arnau, J. (1999). Reducción del sesgo en la estimación de la autocorrelación en series temporales cortas. Metodología de las Ciencias del Comportamiento, 1(1), 25-37.

Bono, R. y Arnau, J. (2000). Diseños de muestras pequeñas: análisis por mínimos cuadrados generalizados. Psicothema, 12(2), 87-90.

Fernández, P., Vallejo, G. y Escudero, J.R. (2002). Diagnóstico de la precisión de nueve procedimientos para el cómputo de la autocorrelación de primer orden en un diseño de Sujetos x Ocasiones (3xq). Psicothema, 14(2), 497-503.

Fernández, P. y Vallejo, G. Test of the precision of nine estimators to detect autocorrelation. Educational and Psychological Measurement (en prensa).

GAUSS (1997). The Gauss System (Vers. 3.2.32). Washington: Aptech Systems, Inc.

Hearne, E.M., Clark, G.M. y Hatch, J.P. (1983). A test for serial correlation in univariate repeated-measures analysis. Biometrics, 39, 237-243.

Hoaglin, D.C. (1985). Summarizing shape numerically, the g-and-h distributions. En D. Hoaglin, F. Mosteller y J. Tukey (Eds.), Exploring data tables, trends, and shapes (pp. 461-515). New York: Wiley.

Huitema, B.E. y McKean, L. (1991). Autocorrelation estimation and inference with small samples. Psychological Bulletin, 110, 293-304.

Huitema, B.E. y McKean, L. (1994).Reduced bias autocorrelation estimation: Three jackknife methods. Educational and Psychological Measurement, 54(3), 654-665.

Jones, R.H. (1985). Repeated measures, interventions, and time series analysis. Psychoneuroendocrinology, 10(1), 5-14.

Keselman, H.J., Algina,J., Kowalchuk, R.K. (2001).The analysis of repeated measures designs: A review. Birtish Journal of Mathematical and Satistical Psychology, 54, 1-20.

Keselman, H.J., Algina, J., Kowalchuk, R.K. y Wolfinger, R.D. (1999). A comparison of recent approaches to the analysis of repeated measurements. British Journal of Mathematical and Statistical Psychology, 52, 63-78.

Keselman, H.J., Huberty, C.J., Lix, L.M., Olejnik, S., Cribbie, R.A., Donahue, B., Cowalchuk, R.K., Lowman, L.L., Petoskey, M.D., Keselman, J.C. y Levin, J.R. (1998) Statistical practices of educational researchers: An analysis of their ANOVA, MANOVA and ANCOVA analyses. Review of Educational Research, 68(3), 612-618.

Kinderman, A.J. y Ramage, J.G. (1976). Computer generation of normal random numbers. Journal of American Statistical Association, 77, 893-896.

Koopmans, T. (1942). Serial correlation and quadratic forms in normal variables. Annals of Mathematical Statistic, 13, 14.

Kowalchuk, R.K., Lix, L.M. y Keselman, H.J. (1996). The analysis of repeated measures designs. Paper presented at the Annual Meeting of the Psychometric Society, 1996, Banff, Alberta.

Micceri, T. (1989). The unicorn, The normal curve, and other improbable creatures. Psychological Bulletin, 105, 156-166.

Pantula, S.G. y Pollock, K.H. (1985). Nested analysis of variance whith autocorrelated errors. Biometrics, 37, 909-920.

Sawilowsky, S.S. y Blair, R.C. (1992). A more realistic look at the robustness and Type II error probabilities of the t test to departures from population normality. Psychological Bulletin, 111, 352-360.

Wilcox, R.R. (1994). A one way random effects model for trimmed means. Psychometrika, 59, 289-306.

Wilson, P.D., Hebel, J.R. y Sherwin, R. (1981). Screening and diagnosis when within-individual observations are Markov-dependent. Biometrics, 37, 553-565.