Psicothema, 2001. Vol. Vol. 13 (nº 4). 671-677

Ignacio Montero y Orfelio G. León

El presente trabajo explora de forma descriptiva el tipo de metodologías que los investigadores de la Psicología española usan más frecuentemente. Para ello se ha analizado la producción de la revista Psicothema (1990-1999) a modo de ejemplo. Se ha elaborado un sistema de categorización de los diferentes tipos de diseños tomando como unidad de análisis cada estudio, independientemente del número de estudios que contuviera cada artículo. Se ilustran las proporciones de uso de ocho tipos de trabajos: teóricos, experimentales, cuasi experimentales, descriptivos mediante observación, descriptivos mediante encuestas, instrumentales, descriptivos de casos y experimentos de caso único. Dichas proporciones se analizan en función de su evolución a lo largo de la década. Se finaliza discutiendo las implicaciones que, para la enseñanza, pudieran tener la variabilidad metodológica y la presencia de errores en la interpretación de los diseños complejos con interacciones significativas.

Methodological Practices in Spanish Psychology: An Analysis throught Psicothema’s Life (1990-1999). The present paper explores in a descriptive way the kind of research methods more frequently used by Spanish researchers in Psychology. The production of Psicothema (1990-1999) has been analysed as an ilustrative Spanish journal in that discipline. A codification system has been ellaborated for the categorization of different types of research designs. ‘Study’ instead of ‘paper’ was considered as unit of analysis given the fact that some papers included several studies. Usage proportions of eight types of studies are illustrated: theoretical, experimental, cuasi experimental, observational descriptions, survey studies, instrumental studies, case studies and one subject experimental designs. These proportions are presentad in relation to year of publication. Finally, implications for teaching of issues such as methodological variability and mistakes in interaction’s interpretation are discussed.

Siendo parte de la labor de los autores el enseñar los primeros rudimentos metodológicos a los futuros psicólogos - quién sabe si también futuros investigadores - a aquellos se les ha pasado por la cabeza la idea de echar una mirada sistemática y replicable a la producción reciente de los investigadores de la Psicología española. Debido a la eclosión habida durante los últimos quince años de trabajos publicados en nuestro país ha sido necesario el uso de algún sesgo heurístico - quizás el de accesibilidad - que permitiera llevar a cabo una idea que de otro modo habría desbordado los recursos disponibles. Este sesgo ha sido la coincidencia con los diez años de vida de Psicothema que, además de ser muy apreciada en nuestro entorno y tener índice de impacto, tiene la peculiaridad de publicar trabajos de todos los ámbitos de la Psicología, algo que ayuda al objetivo de este estudio.

Así pues, dicho objetivo es hacer un retrato de cuáles han sido las metodologías, los diseños de las investigaciones, utilizadas en las publicaciones de Psicothema en diez años (1990-1999), sabiendo que, aun siendo una muestra sesgada, puede ser ilustrativa de esos usos y costumbres a los que se alude en el título (para un análisis más referido a los contenidos de las investigaciones publicadas en esta revista se puede consultar el trabajo de Moreno y Sánchez, 1998). Dado que este objetivo es de índole descriptiva, se utiliza la variable tiempo - año natural - como organizador básico de la descripción, descripción que se llevará a cabo utilizando la terminología que se maneja en un libro de texto de publicación reciente en nuestra lengua (León y Montero, 1997; ver Kerlinger y Lee, 2000; Shaughnessy, Zechmeister y Zechmeister, 2000, como manuales recientes en lengua inglesa).

Método

La unidad de análisis que se ha decidido utilizar para esta investigación documental ha sido el estudio, considerando unidades independientes cada uno de los estudios publicados en un mismo artículo. Los artículos de revisión se han tenido en cuenta como estudios teóricos. No se han considerado las publicaciones presentadas dentro de la sección de «métodos, programas e instrumentos».

Para llevar a cabo el análisis descriptivo se ha elaborado un sistema de codificación, derivado en gran medida - como ya se ha señalado - de la terminología seguida por León y Montero (1997). El sistema se compone de ocho grandes categorías, cada una de las cuales se compone de varias subcategorías. Las ocho principales incluyen, además de la ya mencionada de los estudios teóricos, los estudios descriptivos mediante observación, los estudios descriptivos mediante encuestas, los estudios experimentales, los estudios cuasi experimentales, los experimentos de caso único, los estudios instrumentales (desarrollo de pruebas y aparatos, diseño y/o adaptación de los mismos) y los estudios descriptivos de casos. En el Apéndice A se incluye una definición de cada una de las mismas, así como de las subcategorías que las componen.

La fiabilidad del sistema de categorización se estudió mediante el cálculo del porcentaje de acuerdo entre codificadores. Se entrenó a una estudiante de segundo ciclo en el uso del mismo. Como muestra se eligieron, al azar, los estudios publicados un mismo año. Categorizados independientemente los estudios por la estudiante y uno de los autores se obtuvo un grado de acuerdo del 95%. En los que había desacuerdo, se aclararon los criterios de inclusión hasta lograr un acuerdo. Clasificadas las publicaciones de otro año como comprobación se obtuvo un acuerdo del 99%.

Este trabajo es un estudio descriptivo mediante análisis de documentos. La descripción se lleva a cabo mediante la utilización de un sistema de clasificación de la metodología utilizada en cada uno de los estudios analizados. Después de la elaboración de dicho sistema, se puso a prueba su fiabilidad mediante el procedimiento aludido en el apartado anterior. Además se utilizó la variable tiempo como eje de la descripción siendo el año natural de publicación de cada estudio el modo de categorizar dicha variable.

Resultados y Discusión

En la Tabla 1 se presenta la distribución del número de estudios considerados para nuestra investigación agrupados en función de su año de publicación. El notable incremento que se produce entre 1993 y 1994 es debido a que la revista pasó de publicar dos números por volumen anual a tres números por año. Insistimos en que los trabajos de la sección de «métodos, programas e instrumentos» no se tuvieron en cuenta. El total de artículos publicados en el decenio estudiado ha sido 367. Ello supone una media anual de casi 37 estudios si lo tomamos como conjunto. Si separamos las publicaciones en dos períodos en función de la cantidad de números publicados al año, tenemos que el primer período (90-93) implica una media anual de 23 estudios publicados, 11,5 por número. El segundo período (94-99) arroja una media de casi 45,8 estudios publicados cada año, una media de más de 15,3 por número. Ello implica un crecimiento en el número de estudios publicados más allá del aumento de números anuales. Se pasa de una media de 23 con dos números a casi el doble, 45,8, con tres.

En cuanto al tipo de metodología utilizada en cada uno de los estudios, en la Figura 1 se presenta un histograma que recoge su distribución en el conjunto del decenio. La proporción de revisiones (estudios teóricos) es de 0,274, más de un cuarto del total. Casi otro tercio de las publicaciones incluyen estudios experimentales (0,29) aunque hay que tener en cuenta que en este grupo se incluyen estudios que analizan variables no siempre manipuladas por el investigador. Bastaba con que una de ellas fuera manipulada para que el estudio se incluyera en esta categoría. El siguiente grupo de estudios en frecuencia de aparición es el que incluye los denominados cuasi experimentales, los cuales ocupan una proporción de 0,156 sobre el conjunto, un poco más de la mitad del grupo anterior. A continuación aparecen los estudios que hemos denominado instrumentales y que implican el desarrollo de pruebas y aparatos, el diseño y/o adaptación de los mismos, siendo una proporción de 0,115. Los estudios descriptivos mediante encuestas tienen una proporción de 0,06, un poco más de la mitad de los instrumentales y menos de la cuarta parte de los experimentales. Los estudios experimentales de caso único y los estudios descriptivos de casos tienen ambos una proporción de 0,025, siendo los estudios descriptivos mediante observación los que menor proporción ocupan, 0,019. Tenemos entonces que aproximadamente el 42% de las publicaciones con contenido empírico son de corte experimental y casi otro 17% son estudios de carácter instrumental. Ambos tipos de estudios configuran más de dos tercios de los trabajos con contenido empírico.

En la siguiente figura hemos querido ilustrar la evolución que han sufrido los diferentes tipos de estudio. La Figura 2.a ilustra los cambios en el número de estudios teóricos en relación con los experimentales. Los teóricos empiezan ocupando una proporción muy alta - 0,55 - en el año noventa hasta quedar entre el 0,10 y el 0,15 en los dos últimos años estudiados. Por el contrario, los experimentales ocupan una proporción baja los tres primeros años - 0,10 en 1992 - consolidándose por encima de 0,35 a partir del año 1996. El cruce está en torno al año 1995 en que ambos tipos de estudios rondan la proporción de 0,25.

La Figura 2.b ilustra la evolución de los estudios descriptivos mediante observación, los estudios descriptivos de casos y los experimentos de caso único. Estos tres tipos de estudios tienen en común la ocupación de una baja proporción - nunca llega al 0,1 - y una cierta estabilidad a lo largo de la década.

Los estudios cuasi experimentales, los descriptivos mediante encuestas y los instrumentales (ver Figura 2.c) presentan, por el contrario, un perfil más oscilante con los años. Los cuasi experimentales se mueven en una franja que va desde el 0,1 hasta el 0,3. Los descriptivos mediante encuestas se mueven entre el suelo del cero absoluto hasta una proporción cercana al 0,15 aunque su media anual está en 0,06. Finalmente, el grupo de estudios que hemos denominado instrumentales fluctúa entre una proporción mínima del 0,03 hasta una máxima de 0,20, habiendo una clara diferencia entre la primera y segunda parte de la década, a favor de esta última.

Una vez hecha una descripción relativa a las grandes categorías del sistema de codificación utilizado, se van a exponer algunos datos que desglosan las grandes categorías en otras más detalladas, teniendo presente que tal desglose puede ayudar a ilustrar mejor los comentarios hechos hasta ahora. Este desglose afecta a los estudios denominados experimentales y a los que forman el conjunto de los cuasi experimentales. Por lo que se refiere al primer grupo, en la Figura 3 aparece la evolución separada de los estudios con diseños experimentales simples - una sola variable independiente - o factoriales - más de una variable independiente, al menos una manipulada. Como comentario general, cabría apuntar que el cruce de la tendencia en el último año del análisis puede ser totalmente anecdótico, aunque saberlo con certeza nos obligaría a continuar la serie de datos a lo largo del tiempo. Aparte de este hecho, parece que, de buena lógica, abundan más los estudios con más de una variable independiente. La relación entre un tipo y otro de estudio - obviando los años en los que no se publican experimentos simples - va desde la igualdad del año 1993, a la relación cuatro a uno de 1994 o tres a uno, en 1998. Cabe añadir que la media de variables independientes incluidas en los estudios factoriales (los experimentales más los «ex post facto» prospectivos complejos) es de 2,56, siendo la gran mayoría de dos (45 estudios) o tres (26 estudios). Se publicaron ocho estudios con cuatro variables independientes y uno con cinco.

Comentario aparte merece otro hecho que no está reflejado en la figura pero que tiene su relevancia. Nos referimos al estudio de las interacciones y al modo en el que éste afecta a la interpretación de los efectos de orden inferior ya sean las interacciones simples - cuando hay, al menos, tres variables independientes -, ya sean los efectos principales. De los 80 estudios analizados, en 46 se informa de la presencia de alguna interacción significativa. En 27 de ellos, el 58,7%, la interpretabilidad de los efectos de orden inferior podría estar afectada. Al no disponer de la información suficiente no podemos asegurar que de hecho esté afectada en todos los casos ya que no siempre una interacción significativa lleva a error en la interpretación de los efectos de orden inferior. Pero en 15 de estos estudios podemos afirmar que las interpretaciones que se hacen de los efectos de orden inferior son incorrectas. Los errores son de dos tipos. El primero consiste en interpretar directamente las interacciones simples una vez detectada la presencia de una interacción de orden superior. Hacerlo es incorrecto porque lo que esta interacción significa es que al menos alguna de las posibles interacciones simples no se da del mismo modo para todos los niveles de la variable que se retrae del análisis al pasar de un orden de interacción al inmediato inferior. El otro error es más sencillo de explicar. Dependiendo del tipo de interacción doble que se produzca, los efectos principales pueden ser un resumen inadecuado de los efectos simples. Despejar esa incógnita implica estudiar los efectos simples. Los casos que comentamos son de aquellos en los que se informa del efecto de una variable independiente mediante la interpretación de su efecto principal cuando éste no es un resumen adecuado. Eso ocurre al ser la influencia de la independiente sobre la dependiente diferente en función de los niveles de la segunda variable implicada en la interacción significativa, es decir, al producir efectos simples cualitativamente distintos (ver León y Montero, 2001).

Por lo que se refiere a los artículos que incluyen estudios de tipo cuasi experimental, la Figura 4 presenta su desglose en dos grandes tipos: los diseños con intervención y los diseños «ex post facto». Con oscilaciones en torno a la proporción 0,15, los diseños «ex post facto» se mantienen por encima de los diseños con intervención, que rondan sólo la proporción 0,05.

En la Figura 5 se ilustra que, dentro de los «ex post facto», los prospectivos (0,72) son más utilizados que los retrospectivos (0,25). Dentro de los prospectivos, el más utilizado (0,33) es el simple. León y Montero (1997) denominan diseño prospectivo simple a aquél que estudia una única variable independiente que no puede ser manipulada por el investigador dentro de un contexto de investigación en el que primero se seleccionan los grupos por su valor en la variable bajo estudio y después se estudian sus diferencias en la variable dependiente. En el caso de los retrospectivos, el de grupo único es el más numeroso (0,14). En el manual que acabamos de citar se caracteriza al diseño retrospectivo de caso único como aquél que se lleva a cabo en un contexto en el que, dentro de una muestra lo más grande y representativa posible, se miden a la vez la variable dependiente y todas aquellas variables candidatas a explicar, en un grado mínimamente significativo, la variabilidad de aquella. En esta última figura las proporciones son relativas al total de estudios de tipo «ex post facto».

Otra cuestión de interés que se ha puesto de manifiesto mediante el análisis realizado ha sido la de constatar un exceso de variación en los modos de presentación de los trabajos, algo que sorprende habida cuenta que la revista obliga a seguir las normas de la APA. Como este hecho tiene mucho que ver con la tarea de los revisores, se presentan una serie de recomendaciones para éstos dentro del Apéndice B.

Conclusiones

Aunque la naturaleza de este trabajo es meramente descriptiva y el análisis de una única revista impide cualquier tentación generalizadora, creemos que es posible apuntar algunos comentarios o plantear algunas preguntas a modo de conclusiones.

En primer lugar nos surge una duda acerca de la variabilidad metodológica detectada. Nos preguntamos si no resulta algo escasa teniendo en cuenta la cantidad de planes de investigación que se consideran contenidos troncales en los planes de estudio de Psicología. Recordemos que el 69% de los trabajos con contenido empírico eran catalogados dentro de las categorías de estudios experimentales e instrumentales. Y si tenemos dudas acerca de la ponderación del hecho más las tenemos en relación con sus implicaciones prácticas para nuestra labor docente. Nos parece que la justificación de la importancia de nuestras disciplinas en la formación del futuro psicólogo debido a que se convertirá, si no en investigador, al menos en potencial consumidor de investigación puntera queda algo mermada, siempre si nos circunscribimos a esta revista. Pero es que algo parecido cabe apuntar en la formación de los futuros investigadores. En las asignaturas optativas y en los programas de doctorado no haría falta explicar grandes desarrollos metodológicos vista la utilización que de ellos hacen los que realmente investigan en la Psicología que se hace en nuestro país. Evidentemente, siempre conviene ir ampliando, tensando el conocimiento. Pero, sinceramente, la distancia que parece haber entre lo que enseñamos y lo que se usa cubre de sobra esa función anticipadora, al menos, insistimos, en lo que se refiere a lo publicado en Psicothema.

Junto a lo anterior, otro hecho que nos parece importante es el de la interpretación de los efectos de orden inferior cuando aparecen efectos de interacción significativos. Aunque hay una larga tradición en el estudio de errores en los análisis de datos (ver Judd, McClelland y Culhane, 1995; Keselman, et al 1998) lo que aquí señalamos no está relacionado con el cómo decidimos sobre las hipótesis, sino sobre el cómo interpretamos los resultados. Hoy por hoy no está claro el origen de esos potenciales errores de interpretación que, por otro lado, pueden observarse en cualquier revista occidental de investigación en Psicología (ver León y Montero, 2001). Lo cierto es que en el análisis que presentamos el porcentaje de casos en los que pueden aparecer resulta alto (en torno al 60%). El tercio del total de trabajos en los que hemos podido constatar no sólo la posibilidad de que aparezca el error sino su aparición de hecho constatan la relevancia del problema. Aunque tomar conciencia de ello puede ser un punto de partida, un «insight» no tiene por qué ser intrínsecamente terapéutico.

Y es así como los dos elementos resaltados en estas conclusiones entran en conexión. Parece necesario hacer un llamamiento a una reflexión sobre el alcance de lo que enseñamos en nuestras disciplinas metodológicas porque, a la vista de este análisis, se usan pocos planes diferentes de investigación y, en algunas ocasiones, sus resultados se interpretan de forma poco acertada. Quizás una propuesta podría ser: «Enseñemos menos contenidos pero enseñémoslos mejor».

Nota de los autores

Los autores de este trabajo quieren agradecer a Beatriz Plans su excelente labor en la clasificación de los trabajos analizados.

Apéndice A
Categorías utilizadas en el sistema de clasificación

El sistema de clasificación de las metodologías utilizadas en los diferentes estudios analizados se ha elaborado a partir de la terminología propuesta por León y Montero (1997). A continuación se presentan las ocho categorías principales de clasificación así como las subcategorías que las componen, en el caso de que se hayan utilizado. Dado que las denominaciones son lo suficientemente conocidas sólo se presentan criterios de inclusión en los casos en los que, en la literatura, las denominaciones no sean comunes entre diferentes autores.

Estudio teórico: Se ha incluido en esta categoría todo trabajo en el que no se aporten datos empíricos originales generados por los autores. Es decir, todos los trabajos de revisión que no son el informe de una investigación empírica.

Estudio descriptivo mediante observación: Componen esta categoría los estudios que utilizan observación sistemática, natural o estructurada, con un objetivo descriptivo.

Estudio descriptivo mediante encuestas: Se entiende que en esta categoría se han incluido todos los estudios que han utilizado encuestas con un objetivo descriptivo, detallando el tipo de diseño utilizado, transversal o longitudinal.

Estudio de casos: Se han considerado estudios de casos todos aquellos que se refieren a una única unidad muestral bien sea una persona, un grupo, una organización, etc. Y siempre que su estudio se haya planteado dentro de un objetivo descriptivo.

Experimentos: Para catalogar un estudio como experimental era necesario que al menos alguna de las variables estudiadas como independientes hubiera sido manipulada por el investigador. Los experimentos se han clasificado en simples - una única variable independiente- o complejos - más de una variable independiente. Se anotaba también la naturaleza de cada una de las variables independientes - manipulada o no manipulada - y el tipo de diseño - inter o intra sujetos - empleado con cada una de ellas.

Cuasi experimentos: Dentro de esta categoría se han incluido todos aquellos estudios que aún teniendo el objetivo de contrastar una hipótesis de relación causal tienen limitaciones - más o menos serias - para conseguirlo con éxito. Dentro de este grupo se incluyen los diseños con intervención - aplicaciones en situaciones naturales en las cuáles es imposible asignar al azar a los sujetos o controlar el orden de aplicación de los niveles de la variable independiente - y los estudios «ex post facto» que se caracterizan por la imposibilidad de manipular la variable independiente. Dentro de los diseños con intervención se han tenido en cuenta cada una de las trece variantes que se presentan en León y Montero (1997).

Del mismo ha ocurrido con las variantes de los estudios «ex post facto».

Experimentos con sujeto único: En esta categoría se han incluido todos los estudios en los que se han utilizado las técnicas experimentales existentes para aplicar a casos únicos. Se han recogido cinco variantes: AB, ABAB, línea base múltiple en varias conductas del mismo sujeto, línea base múltiple de la misma conducta en varias situaciones y línea base múltiple en varios casos.

Estudios instrumentales: Se han considerado como pertenecientes a esta categoría todos los estudios encaminados al desarrollo de pruebas y aparatos, incluyendo tanto el diseño como la adaptación de los mismos.

Apéndice B
Reflexiones para revisores

Estas líneas van dirigidas a los revisores de la revista y no a los autores, ya que son aquellos quienes deciden si un manuscrito está listo para su publicación. Creemos que se mejoraría la comunicabilidad y replicabilidad de los informes si los revisores tuvieran en cuenta lo que sigue y, de manera detallada y didáctica, se lo hicieran saber a los autores. Quede claro que los comentarios que hacemos a continuación se refieren a las excepciones y no corresponden ni a la media ni a la moda de las publicaciones.

Es obvio que el diseño sirve al fin de lograr un objetivo hecho explícito en la introducción, tan obvio que a menudo los autores pensamos que no es necesario explicarlo ni justificarlo. El lector suele tener otro punto de vista.

Un lugar común: no nos gustan las normas. A esta conclusión llegaría cualquiera que lea el conjunto de las secciones de «método» de estos diez años de revista. Si los que escribimos y revisamos trabajos siguiéramos las normas APA (1994) que exige la revista, este párrafo sobraría. En concreto, pensamos que se mejoraría si insistimos en: a) nombrar el diseño que se va a utilizar; decir si las variables van a ser inter o intra y el correspondiente número de niveles y sus nombres; b) hacer explícito cómo se han formado los grupos - dejar claro a los autores que la no utilización de un criterio sesgado no es lo mismo que una asignación al azar; c) evitar la expresión «influencia» en los títulos y los abstracts cuando la investigación no es experimental; d) utilizar los subapartados recomendados del método y no añadir otros (v.g. «procedimientos estadísticos»); e) olvidarse de la creatividad al hacer las tablas, al lector le resulta más fácil seguir un formato estándar; f) informar de las medias y varianzas de los grupos; g) aunque parezca puntilloso, el que cada autor, en el mismo número de la revista, escriba los resultados estadísticos de una forma distinta, no resulta elegante.

A.P.A. (1994). Publication manual of the American Psychological Association (4th ed.) Washington, DC: APA.

Judd, C.M., McClelland, G.H. y Culhane, S.E. (1995). Data analysis: Continuing issues in the everyday analysis of psychological data. Annual Review of Psychology, 46, 433-465.

Keselman, H.J., Huberty, C.J., Lix, L.M., Olejnik, S., Cribbie, R.A., Donohue, B., Kowalchuk, R.K., Lowman, L.L., Petosky, M.D., Keselman, J.C. y Levin, J.R. (1998). Statistical practices of educational researchers: An analysis of their ANOVA, MANOVA and ANCOVA analyses. Review of Educational Research, 68, 350-386.

Kerlinger, F.N. y Lee, H.B. (2000). Foundations of behavioral research (4th ed.). Fort Worth, TX: Harcourt College Publishers.

León, O.G. y Montero, I. (1997). Diseño de investigaciones. Introducción a la lógica de la investigación en Psicología y Educación (2ª ed.). Madrid: McGraw-Hill Interamericana de España.

León, O.G. y Montero, I. (2001). Cómo explicar el concepto de interacción sin estadística: Análisis gráfico de todos los casos posibles en un diseño 2x2. Psicothema, 13. 165-171.

Moreno, S. y Sánchez, A. (1998). Análisis bibliométrico de la revista «Psicothema» (1989-1997). Psicothema, 10. 23-27.

Shaughnessy, J.J., Zeichmeister, E.B. y Zeichmeister, J.S. (2000). Research methods in Psychology (5th ed.). New York: McGraw-Hill.