HACIA UNA VALORACIÓN INTEGRADA DE LAS REVISTAS ESPAÑOLAS DE CIENCIAS SOCIALES Y HUMANAS: LAS REVISTAS DE PSICOLOGÍA

María Dolores Alcain y Adelaida Román

Consejo Superior de Investigaciones Científicas (CSIC)

Este trabajo es parte de un proyecto más amplio de valoración de revistas españolas de Ciencias Sociales y Humanas. Se presenta: 1º. Resultados de la evaluación de las revistas españolas de las áreas del conocimiento de Psicología obtenidos a partir de una encuesta a los profesores universitarios, se obtienen las valoraciones de las revistas categorizándolas según la importancia para la disciplina. 2º. Estudio de las referencias citadas en las revistas mejor valoradas. Para facilitar el trabajo se elabora una base de datos. Por último, se presenta una tabla de valoración integrada de las revistas de Psicología. Se destaca el hecho de que mientras los profesores dicen publicar mayoritariamente en revistas españolas, a la hora de citar lo hacen preferentemente a revistas extranjeras. Por otra parte, se señala que los distintos métodos de evaluar una revista son complementarios y conviene conocer el método empleado en cada caso.

Towards an integrated evaluation of the Spanish journals on Social and Human Sciences. The journals of Psychology. The present work is part of an ampler project about Spanish journals evaluation of Social y Human Sciences. First, the results of the evaluation of the Spanish journals of Psychology are presented. These results are obtained from a survey sent to university professors in order to evaluate the journals to establish hierarchized relations in each area of knowledge. Second, a study of the references cited from a selection of journals is realized. Finally, an integrated table of valuation of the journals is presented. In order to facilitate the task a data base is elaborated. Among the obtained conclusions it is particularly interested the fact that while the professors declare to publish mainly in Spanish journals, they preferredly cite foreign journals. On the other hand, it is indicated that the different methods to evaluate a journal are complementary and it is important to know the used method in each case.

La investigación, cuyos resultados se ofrecen aquí, está realizada en el marco de un trabajo más amplio en torno a la valoración de las revistas españolas de Ciencias Sociales y Humanas, que se viene desarrollando a lo largo de los últimos cinco años (2000-2004) y que está orientado a la construcción de un modelo integrado para la evaluación de las revistas que tiene en cuenta indicadores de calidad de distinta naturaleza. Es, pues, una parte del trabajo que se está desarrollando (ver informe http://www.cindoc.csic.es/info/inforev2.html).

Los elementos que el modelo en construcción considera para la valoración de las revistas son los siguientes:

1. -Pervivencia o prestigio histórico. Es un indicador de la fidelidad y la constancia de la revista a lo largo de los años.

2. -Cumplimiento de las normas internacionalmente aceptadas de publicación. Este elemento de valoración se juzga a partir del mayor o menor cumplimiento de los 33 criterios de calidad editorial diseñados por el sistema Latindex (www.latindex.org), que recoge tanto elementos de normalización como otros ligados a la gestión editorial.

3. -Existencia de revisores externos para la selección de originales. Se concede gran importancia a este elemento de calidad. Se considera que una revista lo cumple cuando en sus páginas expresa de manera explícita que todos los originales son informados por evaluadores o expertos externos a la entidad editora y al Consejo de Redacción de la revista, previamente a su selección para publicación.

4. -Presencia en una o más bases de datos bibliográficas de prestigio internacional. Se valora como elemento de calidad el que la revista esté siendo recogida de manera sistemática por alguna de las bases de datos bibliográficas de prestigio internacional, sean éstas multidisciplinares o especializadas.

5. -Evaluación del contenido científico de la revista. Se consideran los índices de valoración obtenidos a partir de la tabulación de las encuestas cumplimentadas por la práctica totalidad de los profesores universitarios en plantilla de cada área del conocimiento (años 2002-2004).

6. -Índice de citación obtenido por la revista. Este indicador, que de alguna manera mide el nivel de prestigio y de uso de la revista, está ahora en elaboración y sólo se ha obtenido para el año 2000.

En el presente trabajo se profundiza en la metodología y el análisis de los resultados correspondientes a los indicadores que miden la calidad del contenido de una manera directa (valoración de los pares y citas). Se presentan los datos obtenidos de la valoración de los pares a las revistas de Psicología en relación con los demás elementos de calidad señalados y el análisis de las citas recibidas por las revistas españolas de Psicología a partir de los trabajos publicados en las revistas españolas de Humanidades y Ciencias Sociales, editadas en el año 2000, ofreciendo una ventana de citación de cinco años (1995-1999).

El modelo para la valoración de las revistas de Ciencias Sociales y Humanas que muy sucintamente se ha descrito es el resultado de años de trabajo y experimentación con tentativas metodológicas diferentes. No hay que olvidar que el CINDOC, creador de las bases de datos ICYT e ISOC, ha tenido siempre la preocupación de seleccionar las mejores revistas para sus bases de datos.

Antecedentes

Aunque la tradición de los estudios de evaluación de publicaciones periódicas data de finales de los años cincuenta, hasta finales de los años setenta no empiezan a realizarse en España algunos estudios sobre la calidad de las revistas científicas y técnicas. Analizando un poco la evolución que han experimentado estos estudios, destaca el aumento de los parámetros utilizados para la evaluación de revistas. Cabe señalar una dedicación mucho más acentuada hacia todas las disciplinas científico-tecnológicas, con trabajos orientados a estudiar de una manera especial los aspectos ligados a la visibilidad y difusión internacional de las revistas (Ortega et al., 1992; Ortega y Plaza, 1993) y la escasez de estudios de valoración de revistas de Ciencias Sociales y Humanas.

Tal y como indica Delgado López-Cózar en su revisión bibliográfica (Delgado López-Cózar, 1997), los estudios de evaluación de revistas realizados en España han trabajado fundamentalmente con tres tipos de criterios: criterios formales, criterios de contenido científico y criterios de difusión.

Los estudios de evaluación más recientes para las revistas españolas de Ciencia y Tecnología han trabajado con distintos indicadores: número de revistas por campo científico, tipo de editores, periodicidad y pervivencia, adecuación a las normas internacionales de presentación de publicaciones periódicas, producción de las revistas, presencia en bases de datos internacionales y otros servicios secundarios de información, contribuciones de autores extranjeros, coautorías internacionales, análisis de citas y estudio de los hábitos de publicación de los investigadores. Así desde 1984 se trabaja en el desarrollo de un método para su evaluación (Ortega y Vázquez, 1985). El procedimiento ha ido experimentando algunas modificaciones desde su desarrollo y ha sido aplicado a revistas de diferentes disciplinas científicas (Ortega y Vázquez, 1986; Ortega y Vázquez, 1987) y con algunas variantes, a algunas de las disciplinas de Ciencias Sociales y Humanas.

Esta misma metodología con la combinación de distintos indicadores ha sido la base para el estudio de las revistas españolas en algunas disciplinas de Ciencias Sociales y Humanas. Más concretamente, en 1995 se abordó el estudio de la calidad de las revistas de Sociología, Prehistoria e Historia Antigua y Arqueología (García Marín y Román Román, 1998). El método fue notablemente modificado en 1997/1999 para la valoración de las revistas españolas de Economía. En aquella ocasión no se aplicaron criterios de calidad formal y se abordó un estudio de citas, en el que se puso de manifiesto su gran interés y su dificultad metodológica, dadas las prácticas de citación de los investigadores sociales y de humanidades, así como de la exigencia elevada de recursos materiales y humanos que dicho estudio requería. Esta experiencia determinó un replanteamiento metodológico (Giménez Toledo et al., 1999; Román Román y Giménez Toledo, 2000).

En 1999 España se incorpora al Sistema regional de Información para América Latina, el Caribe, España y Portugal Latindex que en el año siguiente definió 33 criterios de «calidad editorial» para estudiar la situación de las revistas de los países participantes en relación con su cumplimiento. Como consecuencia de ello, se abordó el estudio de 1.300 revistas españolas de Humanidades y Ciencias Sociales que pudieron categorizarse en función del número de criterios de calidad editorial cumplidos (Román Román et al., 2002). Este trabajo se desarrolló igualmente para las revistas españolas de Ciencia y Tecnología, así como para las de Ciencias de la Salud.

En el año 2001, con el objetivo de complementar el estudio de calidad editorial realizado, se procedió a someter a la consideración de profesores universitarios e investigadores (a una muestra aleatoria del 20% de las poblaciones de cada disciplina/área del conocimiento) una relación de las revistas de su disciplina, dentro de las Ciencias Sociales y Humanas. Este trabajo fue posible gracias a una subvención de la Dirección General de Universidades (DGU) del MECD. A la vista de los resultados obtenidos, y siempre bajo los auspicios de la DGU, se planteó profundizar en esta vía, abordando en lo posible la práctica la totalidad del profesorado en plantilla afectada en cada caso, con dos finalidades: obtener resultados más fiables y representativos de la opinión de los profesores y, a partir de los resultados obtenidos, analizar cuáles son las revistas más citadas en cada área disciplinar, tomando como fuente o «revistas citantes» aquellas que resultaran mejor valoradas por los «pares». El trabajo ha podido desarrollarse para prácticamente la totalidad de las disciplinas (excluidas las revistas de Economía y las multidisciplinares, por distintos motivos) gracias al apoyo de la DGU, durante los años 2002 a 2004.

En paralelo al trabajo desarrollado, muchas otras iniciativas institucionales han ido viendo la luz en estos últimos años, prueba de que la valoración de las revistas y el deseo de incidir en una mejora de su calidad es ampliamente compartido. Tanto diferentes instituciones autonómicas, como algunos departamentos universitarios, están desarrollando metodologías diferentes con ese objetivo entre otros. Hay que esperar que en un plazo medio el debate pueda cristalizar en un modelo y una metodología común. Esta inquietud es compartida por otros países europeos y se ha materializado en una iniciativa surgida de la European Science Foundation consistente en la creación de un «índice europeo de citas» que en este momento se encuentra en proceso de selección de las revistas más relevantes de Humanidades. Ello ha impulsado a algunos países (Italia, Francia, etc.) a abordar estudios valorativos de las revistas nacionales de Ciencias Sociales y Humanas (Henriot y Fleuret, 2004).

En cuanto a los estudios valorativos de las revistas de Psicología, éstos han sido numerosos y tienen bastante más tradición que en otras disciplinas de las Ciencias Sociales. A continuación se citan los trabajos que han sido los precursores de los numerosos estudios que existen acerca de las pautas de citación y evaluación de revistas de Psicología (Jakobovits y Osgood, 1967; Koulack y Keselman, 1975; Mace y Warner, 1973; Myers, 1970; Xhignesse y Osgood, 1967). Los trabajos de estos autores, algunos basados en la opinión de expertos, como profesores de universidad o miembros de la APA, han dado lugar a trabajos posteriores y a múltiples críticas: especialmente se les acusa de falta de objetividad (Buss y McDermott, 1976). Posteriormente, cuando aparece el Social Science Citation Index (SSCI), que en la actualidad incluye alrededor de 450 revistas de Psicología, White utiliza el SSCI para el análisis de las citas de revistas (White y White, 1977). En un trabajo posterior, Pinski y Narin (Pinski y Narin, 1979), con el fin de establecer la estructura de la literatura psicológica y evitar algunas limitaciones del Factor de Impacto (FI), aplicaron su complejo método de las influencias ponderadas, en el que una referencia de una revista es ponderada por la influencia de la revista referenciadora. Otra publicación (Buffardi y Nichols, 1981) comenta trabajos anteriores y el esfuerzo realizado en evaluar las revistas y analiza las relaciones de otros factores con el FI. Como resultado, se obtiene una lista de 99 revistas de Psicología y se presenta el «ranking», mostrando el impacto de citas obtenido en el Journal Citation Report (JCR) del SSCI y el índice de aprobación obtenido por Markle y Rinn (Markle y Rinn, 1977). Se concluye que el FI es más útil para hacer el «ranking» de revistas de una especialidad, que para valorar la calidad de una revista y que, a pesar de sus fallos, el FI es la principal medida de la calidad de una revista, hasta el momento, cuando se utiliza una sola medida. En trabajos posteriores (Doreian, 1987, 1989) se considera que el tema de si las medidas objetivas del lugar que ocupa una revista son mejores o inferiores a las medidas más subjetivas no está resuelto. Sin embargo, se demuestra que el entender por qué las revistas tienen su puesto, de qué forma han sido evaluadas, es una tarea importante, que va más allá del debate de qué métodos particulares son los mejores para medir el lugar de una revista de acuerdo a algún criterio implícito.

En España, diversos autores han realizado trabajos para conocer y evaluar las revistas tanto nacionales como extranjeras, así como para detectar el núcleo básico de revistas utilizadas en las distintas subdisciplinas de la Psicología. Entre otros cabe citar los siguientes: Carpintero, Gotor y Miralles, 1983 A; Carpintero, Gotor y Miralles, 1983 B; Gotor Sicilia, 1982, y Gotor Sicilia y Miralles, 1985. Una amplia revisión de estas investigaciones (Tortosa, 1985) muestra un alto grado de especificidad en la revistas de Psicología. Otro estudio trabaja sobre la hipótesis de que la especificidad de los autores más visibles en las citas es un indicador de la especificidad de las revistas, en Psicología, el flujo de citas es muy selectivo y su análisis permite delimitar áreas independientes de especialización (Zalbidea, Sanchís y Tortosa, 1989). Por otra parte, se presenta una evaluación de las revistas españolas de Psicología según los criterios Latindex (Alcain y Ruiz-Gálvez, 2001). También se han publicado trabajos acerca de la evaluación de la calidad de los artículos y de las revistas científicas en los que se critica el uso del FI de una revista para la evaluación de la producción o de la calidad de la investigación científica y se propone un factor de impacto ponderado (Buela-Casal, 2002, y Buela-Casal, 2003). Recientemente se ha publicado un trabajo que valora tres revistas españolas de Psicología a partir de las citas recibidas en revistas de habla hispana, este trabajo insiste en la necesidad de valorar las revistas de habla hispana de Psicología (Buela-Casal et al., 2004).

Diferentes autores, tanto iberoamericanos como españoles, han publicado sobre revistas de Psicología de América Latina, entre ellas la más tratada es la Revista Latinoamericana de Psicología (Ardila, 1978; Ardila, 1986; Ardila, 1988; Quiñones Vidal et al., 1991). Una publicación más reciente presenta un análisis comparativo de cuatro revistas de Psicología de habla hispana recogidas por el SSCI (Buela-Casal et al., 2002). En Brasil también se ha publicado sobre la evaluación de revistas de Psicología con la finalidad de establecer parámetros para mejorar su calidad (Yamamoto et al., 2002).

Metodología

1. Valoración por los profesores de las diferentes áreas del conocimiento de una relación de revistas españolas de su especialidad

Se envía a prácticamente el 100% de los profesores de todas las universidades españolas una encuesta con la finalidad de conocer la opinión de los expertos sobre el contenido científico de cada revista en relación a su área de conocimiento y así seleccionar las mejor evaluadas para iniciar el análisis de las citas. Las encuestas se enviaron a una empresa especializada que codificó cada encuesta antes de enviarla, así cada una está identificada con un código compuesto de 5 dígitos, y si bien las respuestas son anónimas, la recepción de una encuesta con el mismo código que otra es detectada inmediatamente.

Para todas las áreas analizadas, excepto para Psicobiología, se presentó una lista común de 181 revistas relacionadas con Psicología. Para el área de Psicobiología, más afín a ciencias médicas y biológicas, se elaboró una lista conjunta con el área de Psiquiatría de 53 revistas. La respuesta del área de Psicobiología no alcanzó el 20%, por lo que no se ha incluido en el estudio.

En la encuesta se les pedía, en primer lugar, que clasificaran cada una de las revistas de la lista y dejaran en blanco las que no conocían y, en el caso de que no apareciera en la relación alguna revista que consideraran de interés para la disciplina, la añadieran y valoraran del mismo modo que las de la lista, incluyéndolas en alguna de las siguientes categorías: (A) Muy buena, fundamental para la disciplina. (B) Buena, interesante para la disciplina. (C) De interés general. (D) Sin interés para la disciplina.

A continuación, en la segunda y tercera preguntas, se les pedía que indicaran dónde publicaron sus tres últimos trabajos y qué revistas consideraban como las tres mejores para su disciplina (españolas o extranjeras). A través de las respuestas obtenidas se obtienen resultados del porcentaje de profesores que publicaron en revistas españolas y/o en revistas extranjeras y la lista de las revistas consideradas como las mejores para la disciplina.

A partir de los datos de la valoración y con el fin de conocer las mejor valoradas, se procedió a la elaboración de dos índices, para lo que se tuvieron en cuenta sólo las categorías «A» y «A+B». Es decir, los datos de las respuestas se ponderan según el número de votos que ha recibido cada revista (% de votantes del total de los emitidos para ese área del conocimiento y que potencialmente podrían haberse expresado sobre ella pero no lo hicieron más que en una proporción determinada). Eso permite establecer una comparación interior del área. Así, por ejemplo, a la revista «XX» la votaron sólo el xx% de los que respondieron. Dado que el objetivo ha sido extraer unos índices de valoración para las revistas consideradas Muy buenas/buenas, a efectos de obtener las mejor valoradas para convertirlas en «revistas fuente» del estudio de citas, sólo ha interesado aplicar la fórmula a partir de las valoradas A y B. Por tanto, es desde este punto indiferente cuántos valoran una revista concreta como C o D, pero no es indiferente cuántos valoraron la revista A o B del total que se expresaron sobre la revista, por eso se ha considerado idóneo utilizar las fórmulas:

Iv A= Valor de A multiplicado por el porcentaje de los que valoran, dividido por 100

Iv A+B= Valor de A+B multiplicado por el porcentaje de los que valoran, dividido por 100

2. Impacto de las revistas españolas, a partir de las citas dadas por los autores de los artículos de las revistas mejor evaluadas por los ‘pares’, a referencias de revistas españolas

Esta parte obedece a la necesidad que desde hace tiempo tienen distintas instancias vinculadas a la investigación y política científica de conocer el impacto de las publicaciones en revistas españolas, pues hasta el momento es desconocido, debido a que el único índice de citas existente¹ cubre un número insignificante de éstas. El índice de citación de las revistas obtenido a través de las citas se considera un indicador fiable aunque complementario con otros que sirven para el reconocimiento de las revistas y autores. Estas razones son las que desde su inicio en el estudio anterior están en la base del intento de establecer una metodología para acercar esas expectativas y poder abordar en el futuro de una manera sistemática y fiable la construcción de índices de impacto para las revistas españolas de estas áreas del conocimiento.

La valoración de las revistas por los ‘pares’ ha sido el primer paso para abordar esta parte del trabajo que se ha realizado a partir de una selección de revistas, en la que se ha tenido en cuenta el ‘ranking’ de revistas mejor valoradas de cada disciplina. Se limitó el estudio a dos años de publicación 2000 y 2001.

Se diseñó una aplicación informática ad hoc para realizar la carga de los datos de la forma más automática posible y así realizar esta tarea altamente laboriosa de la manera más rápida y eficaz. La aplicación para el tratamiento de los datos tanto de las revistas citantes como de las citadas se hizo utilizando el programa ACCESS. La base de datos creada, CITAS, se compone de dos partes: una representa cada artículo citante de las revistas seleccionadas entre las mejor valoradas, y la otra, los datos de los artículos citados por cada artículo. Debido a que el objetivo del estudio es conocer el impacto de las revistas españolas, en los datos de las citas sólo se han consignado los de las citas a revistas españolas.

En la base de datos CITAS se han ido cargando todas las citas a revistas españolas emitidas por las revistas seleccionadas de las distintas áreas del conocimiento de Ciencias Sociales y Humanas valoradas hasta la fecha. Así se pretende elaborar un Índice de citas de revistas españolas de Ciencias Humanas y Sociales. En la actualidad se cuenta con toda la información recogida en tres proyectos (2002, 2003 y 2004), citas emitidas en los años 1999-2000 por las revistas de las áreas analizadas en el año 2002 y citas emitidas en 2000-2001 por las revistas de las áreas analizadas en 2003 y 2004. Se pretende completar los datos del año 2001 para todas las áreas. En este trabajo se presentan los datos de las citas emitidas en el año 2000 por un total de 134 revistas seleccionadas. Teniendo en cuenta la vida media de las citas recogidas en las áreas de las Ciencias Sociales se ha elegido una ventana de citación de cinco años para obtener el cociente de dividir las citas recibidas por cada revista a artículos publicados de 1995-1999 por los artículos publicados en ese mismo período.

Resultados

La limitación de espacio del presente artículo no permite presentar las tablas con los datos completos de las respuestas a las encuestas, pero todos los datos se pueden consultar en el informe disponible en la página web del CINDOC. En la Tabla I se muestran los datos de las encuestas enviadas y recibidas.

Ranking de revistas obtenido según la valoración expresada por los profesores

A continuación se presentan (tablas II-VI), por áreas del conocimiento, los resultados de la categorización de las revistas valoradas por los profesores de universidad, según los dos índices de valoración (Iv A y Iv A+B). En cada tabla se presentan los dos índices de valoración, pero las tablas están ordenadas por el Iv A+B. En negrita se destaca las revistas que han alcanzado un Iv A mayor de 25 o un Iv A+B mayor de 75. No se han incluido en las tablas las revistas cuya valoración es inferior al tercio de la máxima obtenida en el área.

A continuación se presentan, resumidos en la tabla VII, los datos obtenidos en las respuestas de la segunda y tercera pregunta de la encuesta.

Los datos muestran que los profesores que contestaron la encuesta dicen publicar más en revistas españolas que extranjeras, sin embargo, consideran mejores las extranjeras que las españolas, excepto en el área del conocimiento de Metodología de las CC del Comportamiento en la que dicen publicar más en las extranjeras.

Resultados obtenidos del análisis de citas

A continuación (tablas VIII-XII) se presentan los resultados del estudio realizado sobre el impacto de las revistas españolas de Psicología a partir del análisis de las 14 revistas seleccionadas entre las mejor valoradas. Estas revistas han publicado en los años 2000 y 2001 un total de 899 artículos, que representan un 33,16% de la producción total recogida en la base de datos ISOC-Psicología para esos dos años. Los 899 documentos contienen un total de 34.132 citas, de las cuales 19.995 (58,58%) son citas a revistas y 14.137 (41,42%) a otro tipo de documento (libros, tesis, comunicaciones a congresos, etc.). De las citas a revistas sólo 2.108 (10,54%) son a revistas españolas y un 89,46% a extranjeras. Las 2.108 citas a revistas españolas sólo representan el 6,18% del total. A continuación se presentan los datos obtenidos del análisis de las citas emitidas por las revistas seleccionadas como citantes en cada área del conocimiento.

Si se comparan los datos obtenidos del análisis de las citas en las cinco áreas de conocimiento, se observa que en todos los casos el porcentaje de citas a revistas españolas es bajo y oscila entre un 6,45 en el área de Metodología de las Ciencias del Comportamiento y un 7,05 en el área de Psicología Social. El porcentaje de citas a revistas es en todos los casos superior al de Otros documentos, aunque la proporción es mayor en las áreas de Metodología de CC del Comportamiento y en la de Personalidad, Evaluación y Tratamiento.

Índice de citas

Por último, se presentan los resultados obtenidos del «Índice de citas de Ciencias Sociales y Humanas» para las revistas de Psicología. Este Índice se ha elaborado a partir de la base de datos CITAS que recoge todas las citas obtenidas en los estudios antes mencionados llevados a cabo por el CINDOC. En él están todas las citas emitidas en el año 2000 por 134 revistas seleccionadas como citantes entre las mejor valoradas de las distintas áreas del conocimiento de las Ciencias Sociales y Humanas, entre las que se incluyen las 14 revistas seleccionadas de Psicología.

A continuación se muestra la lista de revistas de Psicología que han recibido citas en el año 2000, se presenta el total de citas recibidas, y total de citas recibidas en artículos publicados en los cinco años anteriores (1995-1999). Se contabilizan los artículos publicados por cada revista citada en el mismo período. Se divide el número de citas a artículos recientes, últimos cinco años (1995-1999) por el número de artículos publicados en esos cinco años. Se han eliminado de la lista las revistas que sólo han recibido una cita en dicho período. Las catorce revistas de Psicología citantes aparecen en cursiva y subrayadas.

Valoración integrada

A continuación se presentan los datos obtenidos por las revistas de Psicología según los elementos del modelo en construcción para la valoración de las revistas. Se tiene en cuenta los elementos de valoración: Pervivencia de la revista, Cumplimiento de las normas según los 33 criterios de calidad editorial diseñados por el sistema Latindex. Existencia de revisores externos para la selección de originales. Presencia en una o más bases de datos bibliográficas de prestigio internacional. Evaluación del contenido científico de la revista a través de la valoración de los profesores universitarios (Iv A+B) e Índice de citación obtenido por la revista (cociente de citas obtenidas para los trabajos publicados en cinco años anteriores y artículos publicados en el mismo período).

Se han excluido de esta lista las revistas cuya fecha de aparición es posterior a 1999, las revistas que no hayan publicado su último fascículo en el año 2001 o posterior y las que no cumplen al menos con los ocho parámetros básicos de Latindex (fecha de los datos junio de 2003).

Discusión y conclusiones

Dado que el 73% de los trabajos publicados en revistas españolas son realizados en la Universidad, se pensó en realizar una encuesta a los profesores de Universidad (se contaba para ello con el apoyo de la Dirección General de Universidades, que facilitaría los datos del profesorado por Universidad). Inicialmente, el objetivo de la encuesta era, entre otros, completar una evaluación de revistas que se venía realizando en el CINDOC con el fin de obtener un núcleo de revistas mejor valoradas por los pares como punto de partida para realizar un estudio de citas. En ningún caso la valoración a través de esta encuesta ha pretendido hacer un ‘ranking’ de revistas para evaluación de los autores ni de los artículos que publican en ellas, siendo el único objetivo de estos estudios contribuir a mejorar la calidad de las revistas y racionalizar el proceso de selección de revistas para la base de datos ISOC. Bien es verdad que se puede pensar que una encuesta a los profesores no es una evaluación puramente externa, ya que los encuestados son parte interesada. Pero también, cabe pensar que el posible sesgo producido por los que contestan favoreciendo a las revistas que dirigen o en las que publican queda contrarrestado por el alto número de encuestados. La presentación de una lista amplia de 181 títulos se puede considerar demasiado extensa y como un obstáculo para el encuestado, pero hay que tener en cuenta que el presentar los títulos de revista de una manera correcta y uniforme facilita enormemente la tarea al encuestado, así como la tarea de tabulación de las respuestas. Cuando los encuestados han añadido títulos, en la mayoría de los casos ha habido que completarlos o corregirlos.

Es importante señalar que la validez de estos resultados tiene una limitación en el tiempo. No hay que olvidar que las revistas tienen una vida paralela al desarrollo de las disciplinas en las que aparecen nuevas subdisciplinas o especialidades y otras desaparecen, pudiéndose afirmar que son (las revistas) un fiel reflejo del grado de desarrollo y de la evolución de cada campo del conocimiento. Es, por tanto, imprescindible mantener estos resultados actualizados en la medida que se pueda. En resumen, es un trabajo que debe actualizarse cada dos o tres años.

Las conclusiones más destacadas que se pueden deducir de los resultados del trabajo se enumeran a continuación: en el conjunto de todas las áreas relativas a la Psicología sólo 9 revistas (4,97%) fueron valoradas por más del 50% de los encuestados, seguramente debido a que es una disciplina dividida en diferentes áreas del conocimiento y a que muchas de ellas tienen pocos puntos en común. Por otra parte, ninguna revista ha sido valorada por el 100% de los encuestados, sin embargo, existe una revista que ha sido valorada entre las mejores en todas las áreas del conocimiento estudiadas: la revista Psicothema, que, dependiendo del área del conocimiento, el porcentaje de profesores que la valoran oscila entre el 71,43% en el área de Psicología Evolutiva y de la Educación y el 95,59% en el área de Metodología de las Ciencias del Comportamiento. En las distintas áreas específicas que valoraron la lista de las 181 revistas de Psicología el número de revistas valoradas por más del 50% oscila desde 9 revistas (4,97%) en Metodología de las Ciencias del Comportamiento a 17 revistas (9,39%) en el área de Personalidad, Evaluación y Tratamiento.

Los índices de valoración (Iv) obtenidos por las revistas permiten distinguir claramente las que han obtenido una puntuación más favorable. Los resultados son bastante desiguales entre las áreas del conocimiento, de cualquier forma en la mayoría aparecen de dos a cuatro revistas bien valoradas y algunos títulos se repiten en distintas áreas.

En relación con los hábitos de publicación que se ponen de manifiesto en las respuestas a la segunda pregunta de la encuesta, hay que señalar que los profesores dicen publicar mucho más en revistas españolas, excepto en el caso del área de Metodología de las Ciencias del Comportamiento. La primera conclusión que destaca a partir del análisis de las referencias hechas a revistas es que los profesores e investigadores que mayoritariamente publican en revistas españolas las citan muy poco en sus trabajos. La escasa utilización de los psicólogos de revistas extranjeras para publicar sus artículos ya se puso de manifiesto en un trabajo realizado sobre la presencia y visibilidad de la producción científica en el ámbito de la Psicología de los autores de países iberoamericanos en revistas extranjeras (Alcain, 1996; Alcain y Carpintero, 2001) en el que se concluyó que la visibilidad de las publicaciones a través de revistas extranjeras de los autores españoles era escasa, aunque se observó un incremento de ésta a través del tiempo. Por otra parte, cuando responden a la pregunta de qué revistas consideran como las tres mejores en su ámbito, resulta que el porcentaje de profesores que consideran mejores las revistas extranjeras es mayor que el de los que consideran mejores las españolas.

En el estudio de las citas realizadas en las revistas seleccionadas entre las mejor valoradas se observa que el porcentaje de citas a trabajos publicados en revistas españolas en relación al número total de citas, en la mayoría de las áreas analizadas es muy similar, oscila entre el 6 o el 7%. Este porcentaje es ligeramente más bajo que el encontrado en el resto de las disciplinas de Ciencias Sociales. Cuando se analizan las citas según el tipo de documento citado, se observa que en todos los casos sin excepción se citan mayoritariamente artículos de revista. El área de Personalidad, Evaluación y Tratamiento presenta el porcentaje más elevado, 62,12% de citas a Revistas, frente a un 37,88% a Otros documentos. Estos porcentajes muestran una mayor utilización de revistas por los autores de las áreas de Psicología que por los del resto de las Ciencias Sociales que, en la mayoría de los casos, presentan un mayor porcentaje de citas a Otros documentos. En cuanto a la diferencia de citas a revistas españolas o extranjeras se observa también en todos los casos un alto porcentaje de citas a revistas extranjeras, del orden del 87 al 89% frente a un 10 o 12% de las citas a revistas españolas.

Los niveles de «autocita» de las revistas citantes analizadas son variables, se estima razonable entre 10-12%. Hay que advertir que la revista Psicothema, que ha resultado entre las mejor valoradas en todas las áreas, tiene un 34% de autocitas y su presencia puede aumentar la media. Este alto nivel de autocitas se puede entender si se tiene en cuenta que es una revista que recoge trabajos tanto de investigación básica como aplicada, pertenecientes a cualquier ámbito de la Psicología, y publica más de cien artículos anuales.

Si se considera el bajo porcentaje de citas a revistas españolas no extraña el bajo índice de citación obtenido por la mayoría de las revistas. Entre los distintos factores que pueden influir en ello está, sin duda, la baja valoración que los autores conceden a las revistas españolas frente a las extranjeras.

En los datos presentados en la tabla de valoración integrada se puede observar que para obtener una valoración alta una revista no es suficiente con conseguir resultados satisfactorios en uno de los indicadores de calidad, sino que todos los contemplados se complementan. El modelo permite, por una parte, equilibrar los posibles sesgos subjetivos inherentes a las valoraciones, con datos objetivos comprobables con los ejemplares en la mano. Por otra parte, ofrece la posibilidad de establecer «ranking» diferentes en función bien de uno o varios parámetros, bien ponderando de diferente manera cada uno de ellos, según el objetivo perseguido en la valoración de las revistas. En cualquier caso, aparece como un instrumento que responde, con menores riesgos que otros modelos, a la necesidad, siempre difícil de resolver, de valorar por su calidad a las revistas de Ciencias Sociales y Humanas, y en este caso a las de Psicología.

Agradecimientos

Las autoras quieren agradecer a Gloria Rodríguez y Rosa Lamela el excelente trabajo realizado en el tratamiento de textos y obtención de datos de las citas. Al mismo tiempo quieren señalar que, sin el recurso a la Base de Datos ISOC y el soporte de la colección completa de revistas españolas disponible inmediata y constantemente en la biblioteca del CINDOC, este trabajo no hubiera sido posible.

Este trabajo es parte de un proyecto financiado por la Dirección General de Universidades (DGU) en el programa de Estudios y Análisis, titulado «Índices de impacto de las revistas españolas de Ciencias Sociales (Biblioteconomía y Documentación, Psicología, Psiquiatría y Urbanística y Ordenación del Territorio) a partir del análisis de las revistas mejor valoradas por los pares», Ref.: EA2003-0020.

Nota

¹ -Social Science Citation Index y Arts and Humanities Citation Index (ISI, USA)

Alcain Partearroyo, M.D. y Carpintero, H. (2001). La Psicología en España a través de las revistas internacionales: 1981-1999. Papeles del Psicólogo, 78, 11-20

Alcain Partearroyo, M.D. (1996). Psicología iberoamericana. Estudio de su productividad e impacto en revistas internacionales a través de bases de datos en el período 1975-1990. Tesis doctoral no publicada. Universidad Complutense de Madrid.

Alcain, M.D. y Ruiz-Gálvez, M. (2001). Evaluación de revistas científicas españolas de Psicología. Revista de Historia de la Psicología, 22(1), 25-40.

Ardila, R. (1978). Los 10 primeros años de la Revista Latinoamericana de Psicología. Revista Latinoamericana de Psicología, 10, 321-326.

Ardila, R. (1986). La Revista Latinoamericana de Psicología. Revista Latinoamericana de Psicología, 18, 485-492.

Ardila, R. (1988). Los 20 primeros años de la Revista Latinoamérica de Psicología. Revista Latinoamericana de Psicología, 20, 401-406.

Buela-Casal, G., Carretero-Dios, H. y Santos-Roig, M. de los (2002). Estudio comparativo de las revistas de Psicología en castellano con factor de impacto. Psicothema, 14(4), 837-852.

Buela-Casal, G. (2002). La evaluación de la investigación científica: el criterio de la opinión de la mayoría, el factor de impacto, el factor de prestigio y «Los Diez Mandamientos para incrementar las citas». Análisis y Modificación de Conducta, 28, 445-476.

Buela-Casal, G. (2003). Evaluación de la calidad de los artículos y de las revistas científicas: propuesta del factor de impacto ponderado y de un índice de calidad. Psicothema, 15(1), 23-35.

Buela-Casal, G., Medina, A., Viedma, M.I., Godoy, V., Lozano, S. y Torres, G. (2004). Factor de impacto de tres revistas españolas de Psicología. Psicothema, 16(4), 680-688.

Buffardi, L. C. y Nichols, J. A. (1981). Citation, impact, acceptance rate, and APA journals. American Psychologist, 36, 1.453-1.456.

Buss, A.R. y McDermott, J.R. (1976). Ratings of Psychology journals compared to objective measures of journal impact. American Psychologist, 31, 675-678.

Carpintero, H., Gotor, A. y Miralles, J.L. (1983 A). El tipo de revista y su influencia en la colaboración, las materias y la productividad de la revista. Revista de Historia de la Psicología, 4(4), 377-389.

Carpintero, H., Gotor, A. y Miralles, J.L. (1983 B). Los editores de revistas científicas de Psicología. Revista de Psicología General y Aplicada, 38(2), 317-348.

Delgado López-Cózar, E. (1997). Evaluación y aplicación de las normas de presentación de publicaciones periódicas: revisión bibliográfica. Revista Española de Documentación Científica, 20(1), 39-51.

Doreian, P. (1987). A revised measure of standing of journals in stratified networks. Scientometrics, 11(1-2), 71-80.

García Marín, A. y Román Román, A. (1998). Las publicaciones periódicas de Historia Antigua, Prehistoria y Arqueología: difusión internacional. Trabajos de Prehistoria, 55(1), 139-146.

Giménez Toledo, E., Román Román, A. y Sánchez Nistal, J.M. (1999). Aplicación de un modelo de evaluación a las revistas españolas de Economía: una aproximación metodológica. Revista Española de Documentación Científica, 22 (3), 309-324.

Gotor Sicilia, A. (1982). La variable revista en la literatura científica. Fundación Juan March, Serie Universitaria, 194, 3-55.

Gotor Sicilia, A. y Miralles, J.L. (1985). Dispersión, constancia y permanencia de citación: un índice ponderado de visibilidad. Revista de Historia de la Psicología, 6(3), 267-281.

Henriot, Ch. y Fleuret, E. (2004). Les revues en Sciences Humaines et Sociales. Sciences de l’homme et de la Société, 69, 53-84.

Jakobovits, L.A. y Osgood, C.E. (1967). Connotations of twenty Psychological journals to their professional readers. American Psychologist, 22, 792-800.

Koulack, D. y Keselman, H.J. (1975). Ratings of psychology journals by members of the American Psychological Association. American Psychologist, 30, 1.049-1.053.

Mace, K.C. y Warner, H. (1973). Ratings of Psychology journals. American Psychologist, 28, 184-186.

Markle, A. y Rinn, R.C. (eds.) (1977). Author’s guide to journals in psychology, psychiatry and social work. New York: Haworth Press.

Myers, R.C. (1970). Journal citations and scientific eminence in contemporary. Psychology. American Psychologist, 25, 1.041-1.048.

Ortega, C. y otros. (1992). Spanish scientific and technical journls. State of the art. Scientometrics, 24(1), 21-42.

Ortega, C. y Plaza, L.M. (1993). Las revistas españolas de Ciencia y Tecnología como vehículos de difusión de la investigación científica. Revista Española de Documentación Científica, 16(3), 221-227.

Ortega, C. y Vázquez, M. (1987). Estudio comparativo de las revistas de Química. Química 2000, 14, 31-39.

Ortega, C. y Vázquez, M. (1986). Estudio comparativo de las revistas españolas de Geología. Prospectiva y Ciencias de la Tierra. 1986. Encuentros en la Universidad Menéndez Pelayo, junio-julio 1986, 175-185.

Ortega, C. y Vázquez, M. (1985). Valoración de las publicaciones periódicas españolas de Ciencia y Tecnología. Actas del I Congreso Iberoamericano de Informática y Documentación, 1985, 450-480.

Pinski, G. y Narin, F. (1979). Structure of the psychological literature. Journal of the American Society for Information Science, 30(5), 161-168.

Quiñones Vidal, E., Vera Ferrándiz, J.A., Sánchez Hernández, A. y Pedraja Linares, M.J. (1991). La segunda década de la Revista Latinoamericana de Psicología (1979-1988): una aproximación objetiva a la Psicología en Latinoamérica. Revista Latinoamericana de Psicología, 23(2), 155-181.

Román Román, A. y Giménez Toledo, E. (2000). Las revistas españolas de Economia: una propuesta de evaluación científica. Información Comercial Española, 783, 134-161.

Román Román, A., Vázquez Valero, M. y Urdín Camino, C. (2002). Los criterios de calidad editorial Latindex en el marco de la evaluación de las revistas españolas de Humanidades y Ciencias Sociales. Revista Española de Documentación Científica, 25(3), 286-307.

Tortosa, F. (1985). Las redes de revistas como instrumento historiográfico. En S. Rodríguez (ed.): I Reunión de Historia de la Psicología, Salamanca: ICE Universidad de Salamanca.

Tortosa, F. (1989). La Psicología en España a través de algunas de sus revistas. Papeles del Psicólogo, 36-37, 79-82.

White, M.J. y White, G.K. (1977). Citation analysis of Psychology journals. American Psychologist, 32, 301-305.

Xhignesse, L.V. y Osgood, C.E. (1967). Bibliographical citation characteristics of the psychological journal network in 1950 and in 1960. American Psychologist, 22(9), 778-791.

Yamamoto, O.H, Meira-Menandro, P.R., Koller, S.H., Lobianco, A.C., Hutz, C.S., De Oliveira-Bueno, J.L. y Do-Carmo, G.M. (2002). Avaliacao de periodicos cientificos brasileiros da area da psicologia. Ciencia da informacao, 31(2), 163-177.

Zalbidea, M.A., Sanchís, P. y Tortosa, F. (1989). Impacto y especificidad: el papel de las revistas especializadas. Revista de Historia de la Psicología, 10(1-4), 101-109.