Psicothema, 2000. Vol. Vol. 12 (Suplem.2). 283-287

Ana Hernández Baeza y Vicente González Romá

En el presente estudio se ha evaluado la adecuación diferencial de ciertos modelos factoriales aditivos (AFC general, AFC-MI y AFC-UC) y multiplicativos (PD-H y PD-C) en el análisis de matrices multirrasgo-multiocasión (MRMO), en las que cabe esperar efectos de método multiplicativos. Para ello un total de 18 matrices MRMO han sido analizadas mediante el programa LISREL 8 (Jöreskog y Sörbom, 1993). Por otra parte se ha evaluado el grado de similitud o divergencia de las conclusiones derivadas de los distintos modelos que muestran soluciones satisfactorias. Los resultados han mostrado que ambos tipos de modelos, especialmente los modelos AFC-UC y PD-C suelen resultar adecuados, llegando a conclusiones similares, principalmente por lo que se refiere a la estabilidad temporal de las medidas y a la validez discriminante de los rasgos.

Analysis of multitrait-multiocassion data: additive and multiplicative models. The present study evaluates which kind of models, additive or multiplicative, can better conform to empirical multitrait-multioccasion data (MTMO, in which multiplicative method effects are expected, Three additive models (general CFA, CTUM and CTCU) and two versions of the multiplicative Direct product model (HDP and CDP) are tested. Conclusions derived from the models that showed satisfactory solutions are also compared A set of 18 MTMO matrices are analyzed by means of LISREL 8 (Jöreskog and Sörbom, 1993).Results show that both kinds of models, specially the CTCU and the CDP models, can fit the same data. Conclusions that can be inferred from the different models that fit the data are similar, specially for the stability of the measures and the discriminant validity.

A la hora de estudiar la validez de constructo de las medidas en Psicología, una de las técnicas más frecuentemente empleadas ha sido el análisis factorial confirmatorio de matrices multirrasgo-multimétodo (MRMM). En estas matrices, dos o más rasgos son medidos a través de dos o más métodos, de manera que cada variable observada es el resultado de medir un rasgo a través de un método.

En general, en los diseños de matrices MRMM se han considerado básicamente 3 tipos de métodos (Kenny, 1994): 1) diferentes instrumentos de medida (distintos cuestionarios o cuestionarios con distinto formato de respuesta), 2) diferentes evaluadores o ‘raters’ y 3) diferentes momentos temporales u ocasiones. Los dos primeros tipos de matrices han sido evaluados en numerosos estudios tanto a través de modelos factoriales aditivos como de modelos factoriales multiplicativos (Bagozzi, 1991, 1993; Bagozzi y Yi, 1991; Byrne y Goffin, 1993; Coovert, Teachout y Craiger, 1997; Goffin y Jackson, 1992; Lastovicka, Murry y Joachimsthaler, 1992). Sin embargo el tercer tipo de matrices, las matrices MRMO, han sido apenas consideradas en la literatura.

Centrándonos ya en ellas, cabe señalar que las matrices MRMO tienen unas características especiales que deben considerarse a la hora de someterlas a análisis factorial y a la hora de interpretar los resultados derivados de ellas. Una primera característica es que se asume que en este tipo de matrices, los efectos de método pueden ser multiplicativos. Ello implica que las correlaciones entre rasgos medidos en diferentes ocasiones se vean afectadas diferencialmente dependiendo de su magnitud. En concreto, las correlaciones altas se verán más reducidas cuanto mayor sea el lapso temporal transcurrido entre la obtención de las medidas, mientras que las correlaciones entre rasgos próximas a 0 permanecerán cercanas a 0 independientemente del lapso temporal transcurrido. Este tipo de efectos puede reproducirse a partir del modelo del Producto Directo que fue propuesto por Browne (1984). Así pues, a la hora de analizar este tipo de matrices, junto con los modelos factoriales más tradicionales, es aconsejable poner a prueba modelos factoriales multiplicativos especialmente diseñados para reproducir este tipo de efectos.

Una segunda consideración a tener en cuenta es que la información que puede extraerse acerca de la validez de constructo de las medidas difiere de la que puede realizarse habitualmente a través de las matrices MRMM. El nivel de generalidad que se puede inferir de la convergencia de las medidas cae a lo largo de un continuo donde un extremo representa la fiabilidad (cuando los métodos son máximamente similares, como formas paralelas de un mismo test, o diferentes ocasiones) y el otro representa la validez (cuando los métodos son máximamente diferentes). Así pues, a través del análisis matrices MRMO, se obtendrá información de la fiabilidad - estabilidad temporal - de las medidas y no de su validez convergente. Por otra parte, los efectos de método pasan ahora a ser efectos introducidos por la ocasión concreta en que se obtiene las medidas, mientras que la interpretación de los indicadores de validez discriminante (correlaciones entre los factores de rasgo) no varía.

A partir de estas consideraciones, dos son los objetivos que se proponen en el presente estudio. El primer objetivo consiste en poner a prueba la adecuación diferencial de los modelos factoriales aditivos frente a los modelos multiplicativos a la hora de analizar las matrices MRMO. El segundo objetivo es evaluar el grado de similitud o divergencia de las conclusiones acerca de la validez de las medidas que se derivan de los distintos tipos de modelos.

Método

Para comparar la adecuación de los distintos tipos de modelos en el análisis de matrices MRMO, así como la similitud de las conclusiones que se derivan de dichos modelos, se han analizado un total de 18 matrices MRMO. De éstas, 16 han sido obtenidas a partir de la literatura sobre el tema, y 2 han sido aportadas desde este estudio. Para todas estas matrices se han puesto a prueba 3 modelos aditivos y 2 multiplicativos. Los modelos aditivos han sido: 1) el modelo de AFC en su formulación general, que introduce factores de rasgo correlacionados entre sí y factores de método también correlacionados entre sí; 2) el modelo que asume factores de rasgo correlacionados entre sí y factores de método independientes (AFC-MI) y 3) el modelo de las unicidades correlacionadas propuesto por Marsh (1988, 1989) (AFC-UC). Este modelo incluye únicamente factores de rasgo que correlacionan libremente, estimando los posibles efectos de método a través de las correlaciones entre las unicidades de las variables medidas a través de un mismo método. Además permite superar los frecuentes problemas de convergencia y plausibilidad de las soluciones que suelen encontrarse cuando se ponen a prueba los otros modelos. Por contra, desde este modelo no se puede descomponer la varianza total de cada variable en varianza atribuible al rasgo medido, varianza atribuible al método empleado y varianza de error.

En cuanto a los modelos multiplicativos, se han puesto a prueba 2 versiones del modelo PD: la versión del error heteroscedástico (PD-H) , y la versión de los dos componentes del error, (PD-C) que, a diferencia del modelo PD-H, distingue entre las aportaciones que realizan los rasgos y los métodos a la varianza de error, que presenta una estructura multiplicativa. Todos estos modelos se han puesto a prueba a través del programa LISREL 8 (Jöreskog y Sörbom, 1993), utilizando la parametrización de segundo orden propuesta por Wothke y Browne (1992) en el caso de los modelos multiplicativos.

Todas las soluciones han sido evaluadas en términos de la convergencia del proceso iterativo de estimación (el proceso debe converger tras un máximo de 150 iteraciones) y de la plausibilidad de las estimaciones (no deben obtenerse soluciones pobremente definidas, que se refieren a la obtención de varianzas de error negativas, correlaciones o saturaciones mayores que la unidad, o errores estándar excesivamente elevados que lleven a incongruencias en la interpretación de las estimaciones de los parámetros). Asimismo, todas las soluciones han sido evaluadas en términos del ajuste del modelo, para lo que se han considerado 3 indicadores: el error cuadrático medio de aproximación (RMSEA), el índice de no centralidad relativo (McDonald y Marsh, 1992) (RNCI), y el índice de ajuste de Tucker y Lewis (TLI) (Tucker y Lewis, 1973). Para considerar satisfactorio el ajuste de un modelo, los valores de RMSEA no deben ser superiores a 0.10 y los valores de RNCI y TLI no deben ser inferiores a 0.90.

Resultados

La solución ofrecida por un modelo fue aceptada cuando dicho modelo convergió en una solución plausible con índices de bondad de ajuste satisfactorios. Como es habitual, para las matrices en las que fue posible poner a prueba el modelo de AFC en su formulación general, el modelo o bien no convergió o lo hizo en una solución pobremente definida. Para el resto de modelos, los resultados pueden observarse en la tabla 1. Por lo que se refiere a los modelos aditivos, el modelo AFC-MI mostró soluciones satisfactorias en 3 de las 18 matrices analizadas, mientras que el modelo AFC-UC lo hizo en 11 de las 18 matrices. En cuanto a los modelos multiplicativos, el modelo PD-H convergió en soluciones satisfactorias en 6 casos y el modelo CPD lo hizo en 12.

Desechando las 4 matrices para las cuales ninguno de los modelos resultó adecuado (matrices 4, 10, 16 y 18), en la mayoría de los casos (9 de los 13 restantes) ambos tipos de modelos, aditivos y multiplicativos, ofrecieron soluciones satisfactorias. En dos casos, únicamente el modelo aditivo AFC-UC resultó adecuado (matrices 7 y 12), y en otros dos únicamente lo fueron modelos multiplicativos (matrices 9 y 15).

Para las matrices en que varios modelos mostraron soluciones satisfactorias, éstos fueron comparados para determinar cuál de ellos era el modelo con mejor ajuste. Concretamente se empleó el Indice de Información de Akaike (1973) (AIC) que permite comparar el ajuste de los modelos independientemente de que estén anidados o no, teniéndose en cuenta también la significación de la diferencia entre los valores de χ² en el caso de modelos anidados (PD-H frente a PD-C). En la tabla 2 aparecen los valores del índice AIC, así como los valores y significación de las diferencias entre los valores de χ².

Por lo que se refiere a los modelos multiplicativos, de las 6 matrices en las que los dos modelos considerados PD-H y PD-C resultaron satisfactorios, en 3 casos (matrices 1, 2 y 3) las diferencias entre ambos modelos resultaron estadísticamente significativas, lo que llevaría a preferir el modelo PD-H, que incluye un mayor número de parámetros libres a estimar. En los otros 3 casos (matrices 5, 6 y 15), no se obtuvieron diferencias significativas, lo que llevaría a seleccionar el modelo PD-C, por ser más parsimonioso. La comparación de estos modelos con los modelos aditivos basándose en el índice AIC, muestra que no hay un patrón consistente a la hora de determinar si son los modelos aditivos o los multiplicativos lo que ofrecen el mejor ajuste a las matrices MRMO, pudiendo considerarse prácticamente equivalente el ajuste en muchos casos (matrices 1, 2, 3, 5, 11, 13 y 14).

Se compararon las conclusiones derivadas de los distintos modelos que resultaron adecuados al analizar una misma matriz. Por lo que se refiere a las conclusiones generales acerca de la estabilidad temporal de las medidas, el grado de acuerdo obtenido entre los modelos fue muy grande. Únicamente en un caso (matriz número 6), difirieron las conclusiones, si bien dichas diferencias fueron de escasa magnitud, ya que oscilaron entre evidencia moderada y moderada-alta (ver tabla 3). Por lo que se refiere a la validez discriminante, el grado de acuerdo entre los modelos fue absoluto. En todos los casos se obtuvieron estimaciones similares de las correlaciones HR, siendo la diferencia promedio de dichas estimaciones a través de los distintos modelos igual a 0.02. Estas estimaciones dieron lugar a las mismas conclusiones de validez discriminante en todos los casos.

Finalmente por lo que se refiere a la relevancia de los efectos introducidos por las ocasiones de medida, se puede observar que existe una mayor disparidad en las conclusiones generales derivadas de los distintos modelos (ver tabla 3). Si bien sí se dio un acuerdo total entre los dos modelos multiplicativos en las 6 matrices en las que ambos resultaron adecuados, las divergencias entre éstos y los modelos aditivos fueron más relevantes, principalmente cuando únicamente se midieron dos rasgos (matrices 1, 2, 3 y 5).

Conclusiones

El presente estudio ha pretendido, en primer lugar, poner a prueba la adecuación diferencial de los modelos factoriales aditivos frente a los modelos multiplicativos a la hora de analizar las matrices MRMO. Los resultados obtenidos han mostrado que ambos tipos de modelos pueden resultar adecuados para analizar este tipo de matrices. De los modelos aditivos, el modelo que con mayor frecuencia resulta adecuado es el modelo de las unicidades correlacionadas (AFC-UC), mientras que para los modelos multiplicativos, el modelo PD-C es el que con mayor frecuencia resulta adecuado en el análisis de matrices MRMO. Cabe destacarse que en la mayor parte de los casos en que uno de estos dos modelos convergió en una solución satisfactoria, el otro también lo hizo, presentando frecuentemente un ajuste similar.

En cuanto a la evaluación del grado de similitud o divergencia de las conclusiones acerca de la validez de las medidas, segundo objetivo del estudio, los resultados mostraron que para los distintos modelos que convergieron en soluciones satisfactorias, las conclusiones generales acerca de la estabilidad de las medidas y de la validez discriminante de los rasgos fueron similares. Por otra parte, cabe señalar que las conclusiones acerca de la relevancia de los efectos introducidos por las distintas ocasiones difirieron en mayor grado, si bien éste sería habitualmente un objetivo de menor interés en la evaluación de matrices MRMM, en las que resulta especialmente interesante la fiabilidad de las medidas y la validez discriminante de las mismas.

A partir de los resultados obtenidos se observa que, independientemente de cuál se la estructura que subyace a las matrices MRMO, aditiva o multiplicativa, ambos tipos de modelos, y especialmente los modelos AFC-UC y PD-C resultan habitualmente adecuados, dando lugar a conclusiones similares. Desde aquí se recomienda en primer lugar, y de acuerdo con Bagozzi (1993) el uso de los modelos aditivos. Estos, frente a los modelos multiplicativos son de más fácil especificación, implementación e interpretación.

Cole, D. A.; Martin, J.M.; Powers, B. y Truglio, R. (1996). Modeling causal relations between academic and social competence and depression: a MTMM longitudinal study of children. Journal of Abnormal Psychology, 105, 258-270. (A: informes de compañeros; B: informes de los padres; C: autoinformes; D: informes de profesores).

Cudeck R. (1988) Multiplicative models and MTMM matrices. Journal of Educational Statistics, 13, 131-147. (A: instrumento STEP) (B: instrumento SCAT)

Fekken, G.C. y Holden, R. R. (1987). Assessing the person reliability of an individual MMPI protocol. Journal of Personality Assessment 51, 123-132.

Marsh, H, W (1993). Self steem stability and responses to the stability self-scale. Journal of Research in Personality, 27, 253-269.

Millsap, R. E. Y Meredith W. (1988). Component analysis in cross-sectional and longitudinal data. Psychometrika, 53, 123-134 (A: cohorte 1; B: cohorte 2)

Willet y Sayer (1996). En Advanced structural Equation Modeling. (A: muestra de personas sanas; B: muestra de personas asmáticas; C: muestra de personas con trastornos cronicos).

1. Clima Organizacional

N=67.

R1: Apoyo; R2: Innovación; R3: Metas

O: ocasiones (un año aproximadamente entre cada medición)

^acoeficientes de fiabilidad (a)

2. Estrés de rol

N=74.

R1: Claridad de rol; R2: Conflicto de rol; R3: Sobrecarga de rol

O: ocasiones (un año aproximadamente entre cada medición)

^acoeficientes de fiabilidad (a)

Akaike, H. (1973) Information theory and an extension of the maximum likelihood principle. In B.N. Petrov & F. Csaki (Eds.). Second International Symposium on Information Theory. Budapest: Akademiai Kiado.

Bagozzi, R. P. (1991). Further thoughts on the validity of measures of elation, gladness and joy. Journal of Personality and Social Psychology, 61, 98-104.

Bagozzi, R. P. (1993). Assessing construct validity in personlaity research: application to measures of self-steem. Jorunal of research in personality, 27, 49-87.

Bagozzi, R. P. y Yi, Y. (1991). Multitrait-multimethod matrices in consumer research. Journal of Consumer Research, 17, 426-439.

Browne, M.W. (1984). The decomposition of multitrait-multimethod matrices. British Journal of Mathematical and Statistical Psychology, 3,1-21.

Byrne, B.M. and Goffin, R.D. (1993). Modeling MTMM data from additive and multiplicative covariance structures: an audit of construct validity concordance. Multivariate Behavioral Research, 28, 67-96.

Coovert, M. D., Teachout, M. S: y Craiger, J. P. (1997). Effectiveness of the Direct Product versus Confirmatory Factor model for reflecting the structure of multitrait- multirater job performance data. Journal of Applied Psychlogy, 82, 271-280.

Goffin, R.D. and Jackson, D.N. (1992). Analysis of multitrait-multirater performance appraisal data: composite direct product method versus confirmatory factor analysis. Multivariate Behavioral Research, 27, 363-385.

Jöreskog; K. G. y Sörbom, , D. (1993). LISREL 8. Structural Equation Modeling with the SIMPLIS command language. Hillsdale. Scientifc Software.

Kenny, D. A. (1994). The Multitrait-multimethod matrix: design, analysis and conceptual issues. En P.E. Shorut y S.T. Fiske (eds.). Personality Research, Methods and Theory: a festschrift honoring Donald W. Fiske. Hillsdale NJ: Erlbaum.

Lastovicka, J. L., Murry, J. P. y Joachimsthaler, E.A. (1992). Evaluating the measurement validity of lifestykle typologies with qualitative measures and multiplicative factoring. Journal of Marketing research, 27, 11-23.

Marsh, H. W. (1988). Multitrait-multimethod analyses. In J. P. Keeves (Ed.), Educational research methodology, measurement and evaluation: an international handbook. Oxford: Pergamon Press.

Marsh, H. W. (1989). Confirmatory factor analyses of multitrait-multimethod data: many problems and a few solutions. Applied Psychological Measurement, 13, 335-361.

McDonald, R.P. and Marsh, H.W. (1990). Choosing a multivariate model: noncentrality and goodness-of-fit. Psychological Bulletin, 107, 247-255.

Tucker, L. R. y Lewis, C. (1973). The reliability coefficient for maximum likelihood factor anlysis. Psychometrika, 38, 1-10.

Wothke, W. y Browne, M.W. (1990). The direct product model for the MTMM matrix parameterized as a second ordered factor analysis model. Psychometrika, 55, 255-262.