Psicothema, 2011. Vol. Vol. 23 (nº 3). 516-522

Juan Botella and Graciela Ponte

The studies of Reliability Generalization (RG) analyze estimates of the reliability of scores from a test provided by a set of studies. As their goals and designs are usually very varied, the sampling of individuals obeys very different schemas. Thus, the variances of the scores might be more heterogeneous than expected from random sampling. Two main problems associated with this potential source of heterogeneity should be taken into account. First, heterogeneity has been usually identified subjectively, not very rigorously. Second, once identified, it has not been taken into account in subsequent analyses. In previous papers, various ways to face both problems have been proposed. The procedures are summarized and applied to a set of 65 independent studies that report estimates of the internal consistency of the Beck Depression Inventory. The results show why any study of RG should take into account the heterogeneity of the variances. In addition to this, the only source that additionally accounts for significant variance in the coefficients is the version of the test employed: the second and third versions of the test involve significant increases in the internal consistency. The consequences of ignoring the heterogeneity of the variances are discussed.

Efectos de la heterogeneidad de las varianzas en la generalización de la fiabilidad: un ejemplo con el Inventario de Depresión de Beck.Los estudios de Generalización de la Fiabilidad (GF) analizan estimaciones de la fiabilidad de las puntuaciones de un test proporcionadas por un conjunto de estudios. Como normalmente sus objetivos y diseños son extremadamente variados, sus muestreos de individuos obedecen a esquemas muy diferentes. Consecuentemente, las varianzas de las puntuaciones serán más heterogéneas de lo esperado por mera fluctuación aleatoria. Hay dos problemas principales asociados a esta fuente potencial de heterogeneidad que se deberían tener presentes. Primero, la heterogeneidad ha sido normalmente identificada subjetivamente, de forma poco rigurosa. Segundo, una vez identificada no se ha tenido en cuenta en los análisis posteriores. En trabajos previos se han propuesto formas de afrontar ambos problemas. Se resumen esos procedimientos y se aplican a un conjunto de 65 estudios independientes que aportan estimaciones de la consistencia interna del Inventario de Depresión de Beck. Los resultados muestran porqué cualquier estudio de GF debería tener en cuenta la heterogeneidad de las varianzas. Aparte de ésta, la única fuente que explica adicionalmente una varianza significativa en los coeficientes es la versión: la segunda y tercera versiones del test implican incrementos significativos de la consistencia. Se discuten las consecuencias de ignorar la heterogeneidad de las varianzas.