FACTOR DE IMPACTO DE TRES REVISTAS ESPAÑOLAS DE PSICOLOGÍA

Gualberto Buela-Casal, Ana Medina, M. Isabel Viedma, Verónica Godoy, Susana Lozano y Gloria Torres

Universidad de Granada

En el presente trabajo se plantea la necesidad de realizar estudios de factor de impacto de las revistas españolas de Psicología. Para demostrar la viabilidad de este tipo de estudios, se seleccionaron tres revistas de las más representativas de la Psicología española: Papeles del Psicólogo, Análisis y Modificación de Conducta y Psicothema. Se utilizan como revistas fuente todas aquellas revistas de Psicología editadas en castellano y que han publicado todos sus números del 2003 y que cumplían determinados criterios de selección. El análisis bibliométrico fue realizado por seis psicólogos entrenados previamente en un exhaustivo procedimiento. Los resultados muestran que las tres revistas analizadas tienen un factor de impacto considerable para el año 2003: Análisis y Modificación de Conducta (FI= 1,05); Papeles del Psicólogo (FI= 0,76) y Psicothema (FI= 0,60). Esto pone de manifiesto que las dos primeras revistas tienen un factor de impacto importante a pesar de no estar incluidas en el Journal Citation Reports y que Psicothema tendría un mayor factor de impacto si se incluyeran en las bases de datos del Institut for Scientific Information (ISI) las revistas analizadas en este estudio. En el caso específico de Psicothema se argumenta que el FI obtenido en este estudio (FI= 0,60) es más válido que el aportado por el ISI (FI= 0,408) para el año 2003. Se concluye la necesidad de realizar este tipo de análisis para las revistas españolas de Psicología.

Impact factor of three Spanish journals of psychology. The present study considers the necessity to study the impact factor of spanish psychology journals. In order to show the viability of this type of study, three of the most representative journals of spanish Psychology were selected: Papeles del Psicólogo, Análisis y Modificación de Conducta y Psicothema. As sources are used all those psychology journals that are edited in spanish and have published all their issues for the year 2003 and that they fulfill some given selections criterions. The bibliometric analysis was made by six psychologists previously trained in an exhaustive procedure. The results indicate that the three journals analyzed have a considerable impact factor for the year 2003: Análisis y Modificación de Conducta (IF= 1,05); Papeles del Psicólogo (IF= 0,76) and Psicothema (IF= 0,60). This shows that the first two journals have an important impact factor in spite of not being included in the Journal Citation Reports and that Psicothema would actually have a greater impact factor if these journals (these analyzed here) were included in the databases of the Institute for Scientific Information (ISI). At Psicothema’s specific case, it is argumented that the IF obteined in this study (IF= 0,60) is more valid than the one aported by ISI (IF= 0,408) for 2003. As a conclusion it is illustrated the necessity to make this type of analysis for all spanish journals of psychology.

La evaluación de la calidad de las revistas científicas es un tema de máxima actualidad, especialmente en España. Cada día son más los debates acerca de cómo se deben evaluar las revistas, hay opiniones para todos los gustos, desde los defensores radicales del uso de los criterios utilizados por el Institute for Scientific Information (ISI), y en concreto el ya muy popular factor de impacto, hasta los detractores radicales del uso de estos criterios para evaluar la calidad de las revistas españolas. Sea cual sea la postura que se adopte, lo cierto es que en Iberoamérica se editan más de 12.000 revistas científicas, que se publican en castellano y/o portugués, y esto representa el doble de las revistas que están recogidas en las bases de datos del ISI. Si tenemos en cuenta que menos de un 5% de las revistas iberoamericanas son evaluadas por el ISI, hay que comenzar concluyendo que hay más de una decena de miles de revistas científicas que no tienen factor de impacto debido a que nunca fue calculado, que es muy distinto que decir que no tienen factor de impacto. Dicho de otra forma, el ISI es una base de datos de revistas científicas editadas casi exclusivamente en inglés y que incluye una parte insignificante de las revistas científicas iberoamericanas.

En el caso concreto de la Psicología los datos anteriores son muy similares, pues de las cerca de quinientas revistas iberoamericanas de Psicología sólo tres, es decir, menos del 1%, están incluidas en las bases de datos del ISI y, por tanto, tienen factor de impacto «según el ISI» (para un análisis de estas revistas, véase Buela-Casal, Carretero-Dios y De los Santos-Roig, 2002, 2003). Sin embargo, el uso del factor de impacto como indicador de calidad de las revistas científicas está cada vez más extendido y generalizado en España, y de ahí que cada vez sea mayor el debate con relación a si el factor de impacto y otros índices bibliométricos son indicadores de calidad (véase Brunstein, 2000; Buela-Casal, 2001, 2002, 2003; Echeburúa, 2002; Garfield, 2001, 2003; Gil Roales-Nieto y Luciano, 2002; Pelechano, 2002a, 2002b, 2002c; Siguán 2002), si esos criterios se pueden aplicar independientemente de la cultura en la que se produce la ciencia (Pérez, 2002), si son válidos para establecer políticas científicas (Polaino, 2002) o si se puede juzgar la calidad de un artículo en función de dónde se publica (Sternberg, 2003), y cómo influye en el futuro de las revistas españolas (Díaz et al., 2001; Jiménez-Contreras, Faba y Moya, 2001); por tanto, no entraremos aquí en esta discusión que ya ha sido suficientemente tratada.

Por otra parte, hay que resaltar que la evaluación de la productividad científica es posible sin tener que recurrir al cálculo del factor de impacto; véase, por ejemplo, el análisis de la productividad científica de la Psicología española a través de las tesis doctorales realizado por Agudelo et al. (2003), que, sin duda, son parte de la «materia prima» de las publicaciones científicas, o el análisis de la productividad e internacionalidad de revistas científicas realizado por Agudelo, Bretón-López y Buela-Casal (2003a, 2003b) o Sierra y Zubeidat (2002). También se han establecido criterios alternativos para evaluar calidad sin recurrir a índices bibliométricos, tal es el caso del Iberindex (Buela-Casal, Fernández-Hermida y López, 2003), e incluso la aplicación de las normas ISO para evaluar la calidad de la presentación de las revistas (Delgado, 1999).

Otra muestra del interés por la evaluación de las revistas de Psicología iberoamericanas son los symposium sobre editores de revistas de Psicología que se han celebrado coincidiendo con las distintas ediciones del Congreso Iberoamericano de Psicología (Madrid, Bogotá y Chile); y, de manera más específica, el I Encuentro de Editores de Revistas Españolas de Psicología, celebrado en el 2004 en Madrid. Aunque la evaluación de la calidad de las revistas de Psicología fue y sigue siendo un tema de gran interés en todos los ámbitos académicos de la Psicología, lo cierto es que este interés no se corresponde con proyectos de evaluación de la calidad de las revistas.

En el presente trabajo se pretende demostrar que es viable realizar una evaluación de las revistas españolas de Psicología con los mismos criterios utilizados por el ISI; para ello se analizan los principales índices bibliométricos de tres revistas muy representativas de las revistas españolas. Una específica del área de Psicología clínica, tal es el caso de Análisis y Modificación de Conducta, que, entre otras características, hay que destacar que es la única revista de Psicología clínica en España que se mantiene gracias a sus suscriptores, lo que es un indicador de su valía entre la profesión, además está plenamente consolidada, dado que se edita desde 1975. Otra revista del ámbito profesional, como es Papeles del Psicólogo, que fue seleccionada por ser la revista oficial del Colegio Oficial de Psicólogos y por editar 30.000 ejemplares, por lo cual es, sin duda, la revista de Psicología más leída por los psicólogos españoles. La tercera revista seleccionada fue Psicothema, y las razones fueron dos: la primera es que es la única revista española de Psicología que está incluida en el Journal Citation Reports (JCR) y la otra es que se trata de comprobar si una revista española que está incluida en el JCR tiene un factor de impacto menor del real por no tenerse en cuenta las referencias¹ que recibe de otras revistas de Psicología españolas que no están incluidas en las bases del ISI y, por tanto, no cuentan para el cálculo del factor de impacto. Sin embargo, los objetivos de este estudio no deben confundirse con una evaluación de la calidad de las revistas analizadas, sino de su difusión entre la comunidad científica, pues aunque el mismo Garfield (2003), fundador del factor de impacto, argumenta cierta relación entre este índice bibliométrico y la calidad, también reconoce sus limitaciones y el uso indiscriminado que se realiza como sinónimo de calidad.

Método

Unidad de análisis

Para este trabajo se ha decidido utilizar como unidad de análisis las referencias de las revistas Psicothema, Análisis y Modificación de Conducta y Papeles del Psicólogo en revistas de Psicología editadas en castellano y publicadas en el año 2003 (ver apartado de materiales). Las revistas fuente se han elegido siguiendo los criterios de selección especificados en el cuadro 1.

Materiales

Las revistas objeto de estudio fueron:

Psicothema (ISSN: 0214-9915), fundada en 1989 y editada por el Colegio de Psicólogos de Asturias (España). Es una revista de ámbito general que acepta trabajos de cualquier campo y metodología de la Psicología. Edita cuatro números al año y publica en idioma castellano (más frecuentemente) y en inglés.

Análisis y Modificación de Conducta (ISSN: 0211-7339), fundada en 1975 y editada por la Editorial Promolibro. Se trata de una revista de Psicología clínica que acepta trabajos de cualquier metodología propia de esta temática. Edita seis números al año y publica en idioma castellano.

Papeles del Psicólogo (ISSN: 0214-7823), fundada en 1981 y editada por el Colegio Oficial de Psicólogos de España. Al igual que Psicothema, se trata de una revista de ámbito general, por lo que se pueden considerar como revistas multidisciplinares de Psicología. Edita tres números al año y publica en idioma castellano.

Las revistas fuente fueron las siguientes:

Anales de Psicología.

Análisis y Modificación de Conducta.

Ansiedad y Estrés.

Anuario de Psicología.

Clínica y Salud.

Cognitiva.

Estudios de Psicología.

Infancia y Aprendizaje.

INFOCOP.

Intervención Psicosocial.

Metodología de las Ciencias del Comportamiento.

Papeles del Psicólogo.

Psicología del Trabajo y de las Organizaciones.

Psicológica.

Psicothema.

Revista de Historia de la Psicología.

Revista de Psicología Social.

Revista de Psicopatología y Psicología Clínica.

Revista de Psicoterapia y Psicosomática.

Revista Internacional de Psicología Clínica y de la Salud/International Journal of Clinical and Health Psychology.

Revista Internacional de Psicología y Terapia Psicológica/International Journal of Psychology and Psychological Therapy.

Revista Latinoamericana de Psicología.

Revista Mexicana de Psicología.

El número definitivo de revistas ha sido obtenido a partir del listado elaborado por el ISOC. De este listado se han excluido todas aquellas que no cumplían los criterios de selección anteriormente descritos. Por ejemplo, revistas tales como la Revista de Psicología de la Salud y Anuario de Psicología Jurídica han sido descartadas por no estar editado el volumen completo del 2003 en la fecha del estudio (marzo, 2004) y no tener ISSN, respectivamente. La base de datos de revistas fuente estaba compuesta por 23 revistas, lo que supone analizar un total de 67 números.

Para el análisis bibliométrico se utilizan algunos de los índices propuestos por el Institute for Scientific Information (ISI, 2002), tales como el factor de impacto, el índice inmediato, el total de referencias en el año y autorreferencias; y por Buela-Casal (2003), el porcentaje de interacción de referencias.

Diseño y procedimiento

Esta investigación es un estudio descriptivo mediante el análisis de documentos, según la clasificación propuesta por Montero y León (2002); y para su redacción se han seguido las normas propuestas por Bobenrieth (2002). El proceso se ha desarrollado en dos fases. En primer lugar se procedió a la selección de las revistas a partir de la información aportada por el listado del ISOC. Para ello, seis evaluadores (psicólogos) determinaban la adecuación de cada una de las revistas en función de los criterios establecidos previamente. Una de las limitaciones encontradas fue la falta de acceso a algunas revistas que cumplían todos los criterios de selección. Para solventar esta dificultad se procedió, mediante correo electrónico, a contactar con los directores de dichas revistas, solicitando el envío de los números no disponibles. El plazo de recepción fijado fue del 1 al 15 de marzo. Todas aquellas revistas que no se recibieron en este período no fueron incluidas en el análisis. La segunda fase, la recolección de los datos, se llevó a cabo por cuatro evaluadores (psicólogos) de forma independiente, pero organizado de forma que cada revista fuese analizada por dos evaluadores. Cada pareja se encargaba de realizar la búsqueda por separado en las revistas que les eran asignadas (de un total de 23). El procedimiento consistió en que cada pareja examinaba de forma pormenorizada las referencias de las revistas que constituían su objeto de análisis, procediendo a anotar todas las referencias encontradas de artículos publicados en Psicothema, Análisis y Modificación de Conducta y Papeles del Psicólogo. Para facilitar la recogida de datos, se elaboró una tabla que contenía la siguiente información: nombre de la revista citante, número, total de artículos en ese número y el número de referencias encontradas de Psicothema, Análisis y Modificación de Conducta y Papeles del Psicólogo para los años 2001, 2002, 2003 y otros. No se tuvieron en cuenta las referencias de los artículos en prensa. Posteriormente, una vez finalizada la búsqueda individual, se procedió a contrastar la información para establecer el grado de acuerdo entre cada pareja de investigadores, siendo éste del 100% en todos los casos.

Resultados

En la tabla 1 se recoge la información sobre los artículos publicados en las revistas analizadas durante los años 2001, 2002 y 2003, y su distribución en los distintos números correspondientes a esos años. Como se puede apreciar, la revista Psicothema, a pesar de editar sólo cuatro números al año, publica aproximadamente unos cien artículos por año, mientras que las otras dos revistas están en torno a treinta.

En la tabla 2 se presentan las referencias que recibieron las tres revistas objeto del estudio en el año 2003 en las revistas analizadas (para una información detallada véase anexo 1). Con la finalidad de calcular los distintos índices bibliométricos, las referencias se presentan por año, los últimos tres, y los demás años de forma conjunta. Como se puede comprobar, la revista Psicothema recibe un mayor número de referencias, tanto de los artículos publicados en los tres últimos años como de los publicados en años anteriores, lo cual es congruente con los datos recogidos en la tabla 1, dado que también publica un número considerablemente mayor de artículos.

Se presentan a continuación los resultados del análisis de los índices bibliométricos más importantes de las revistas objeto de estudio para el año 2003.

Total citas en año

Este índice hace referencia al número de veces que una revista fue referenciada en un año en otras revistas incluidas en la base de datos con las que se compara la revista objeto de análisis. En este caso se trata de las referencias recibidas en las revistas analizadas.

Psicothema	...................................	298
Análisis y Modificación de Conducta	...................................	132
Papeles del Psicólogo	...................................	92

La revista Psicothema es la que más referencias recibe en comparación con las otras dos. Sin embargo, el número de referencias por una revista está en función, en parte, del número de artículos que publica, pues a mayor número de artículos publicados mayor probabilidad de que sean referenciados. En las revistas aquí analizadas hay que tener en consideración que, por ejemplo, en el año 2003, Psicothema publicó 101 artículos, mientras que Análisis y Modificación de Conducta y Papeles del Psicólogo publicaron 23 artículos cada una.

Índice inmediato

El índice inmediato se obtiene dividiendo el número de veces que una revista es referenciada en un año entre el número de artículos publicados en ese mismo año, y se calcula siempre para el último año, en el presente estudio el año 2003.

Psicothema	...................................	0,20
Papeles del Psicólogo	...................................	0,17
Análisis y Modificación de Conducta	...................................	0,09

La revista Psicothema es la que tiene un mayor índice inmediato, lo que indica que los artículos publicados en esta revista son referenciados más pronto que los publicados en las otras dos revistas analizadas.

Factor de impacto

El factor de impacto es el índice bibliométrico más utilizado en los estudios sobre comparación de revistas con relación a las veces que son referenciadas en la comunidad científica. Este índice se calcula dividiendo el número de veces que son referenciados en un año los artículos publicados en los dos años anteriores entre el número de artículos publicados en la misma revista en esos dos años.

Análisis y Modificación de Conducta	...................................	1,05
Papeles del Psicólogo	...................................	0,76
Psicothema	...................................	0,60

En función de las revistas analizadas, en el año 2003 el factor de impacto de la revista Análisis y Modificación de Conducta es superior al de las otras dos revistas. No obstante, en los tres casos el factor de impacto es muy alto si se tiene en cuenta que estos valores se alcanzan analizando sólo las referencias de estas revistas en un conjunto de 23 revistas. Éstos incluso serían altos en las revistas incluidas en el Journal Citation Reports, tal y como se argumenta en la discusión.

Porcentaje de autorreferencias

Este índice se obtiene al sumar las referencias en la misma revista, realizadas en un año, de los artículos publicados en los dos años anteriores, este valor se multiplica por 100 y el resultado se divide por el número total de referencias que recibieron (en todas las revistas analizadas) en ese mismo año los artículos publicados en los dos años anteriores.

Psicothema	...................................	67%
Papeles del Psicólogo	...................................	54%
Análisis y Modificación de Conducta	...................................	6%

Dos de las revistas, Psicothema y Papeles del Psicólogo, tienen un porcentaje considerable de autorreferencias, lo cual suele ser normal, pues según el ISI, las autorreferencias son una parte importante de las referencias que recibe una revista, aunque en este estudio al usar una base de datos reducida se incrementa el porcentaje de autorreferencias, tal como se explica en la discusión. Sin embargo, en el caso de Análisis y Modificación de Conducta, el porcentaje de autorreferencias es muy bajo, pues de cada cien referencias de artículos de la revista, tan sólo seis se producen en la misma revista.

Porcentaje de interacción mutua de autorreferencias

Éste es un índice que se refiere al porcentaje de artículos referenciados entre dos o más revistas, es decir, el tanto por ciento de referencias entre sí mismas. Se calcula obteniendo el total de referencias comunes entre las revistas objeto de estudio en un año (de los artículos publicados en los dos años anteriores), este valor se multiplica por 100 y se divide por el número total de veces que fueron referenciados los artículos de estas revistas en el mismo año.

Interacción entre las 3 revistas	...................................	17%
Psicothema - Análisis y Modificación de Conducta	...................................	12%
Papeles del Psicólogo - Análsisi y Modificación de Conducta	...................................	7%
Psicothema - Papeles del Psicólogo	...................................	5%

Los resultados muestran un porcentaje de interacción mutua de citas de un 17%, lo cual indica una relación importante entre las revistas. En cuanto a las interacciones individuales, la mayor relación se produce entre Psicothema y Análisis y Modificación de Conducta.

Discusión

En este artículo se han analizado distintos índices bibliométricos de tres revistas españolas de Psicología y se pone de manifiesto que estas revistas son equiparables a las revistas de Psicología incluidas en el Journal Citation Reports (JCR), de hecho, una de ellas, Psicothema, está incluida en este catálogo desde hace ya varios años. En concreto, esta revista ocupa el puesto 26 (con un factor de impacto de 1,098) de un ranking de 102 revistas en la que es clasificada, según el último JCR publicado (2002). Por tanto, la contribución más relevante de este artículo es que se demuestra que las otras dos revistas, Papeles del Psicólogo y Análisis y Modificación de Conducta, tienen un impacto en la comunidad científica muy superior a otras muchas revistas de Psicología incluidas en el JCR y también cómo Psicothema tendría un mayor factor de impacto en caso de que otras revistas españolas de Psicología fuesen incluidas en las bases de datos del Institute for Scientific Information. De forma resumida se comentan a continuación los principales resultados.

Los índices inmediatos de las tres revistas están comprendidos entre 0,09 y 0,20, y aunque los valores pueden parecer bajos, hay que tener en cuenta que es difícil que los artículos publicados en un año sean referenciados el mismo año, y especialmente difícil para los artículos publicados en los últimos números. Por ello, la inmensa mayoría de las revistas incluidas en el JCR tiene un valor del índice inmediato inferior a 1 y, por tanto, estamos ante valores típicos en este índice.

Con relación al factor de impacto, hay que matizar en primer lugar que se calcula de una base de datos de tan sólo 23 revistas de Psicología, es decir, una base muy reducida si la comparamos con la base de datos del ISI, que incluye cerca de 500 revistas de Psicología. Esto es muy importante, pues cuanto mayor es el número de revistas incluidas en la base de datos mayor es la probabilidad de encontrar referencias de una revista, lógicamente, siempre y cuando sean del mismo campo de conocimiento. Sin embargo, en el presente estudio, a pesar de que se utiliza una base de datos muy inferior en cuanto al número de revistas que se analizan en el ISI, el factor de impacto obtenido por las revistas es considerablemente alto. En el caso de Análisis y Modificación de Conducta se obtiene un factor de impacto de 1,05. Este valor en el JCR (del año 2002) se corresponde con el puesto 42 del ranking de Psicología clínica (en el que hay 82 revistas), estando por encima de revistas como British Journal Health Psychology (FI= 1,00), International Journal of Behavioral Medicine (FI= 0,91), Behavior Modification (FI= 0,79) y American Behavior Sciences (FI= 0,67). No obstante, también hay que tener presente que si las revistas fuente incluidas en este estudio formaran parte de la base de datos del ISI, lógicamente también influirían incrementando el factor de impacto de algunas revistas de Psicología del JCR. Entre las posibles explicaciones de este alto factor de impacto de Análisis y Modificación de Conducta hay que tener en cuenta que edita muy pocos artículos por número (entre 4 y 5, lo que indica un alto nivel de selección de los artículos, dado que es una revista muy consolidada y, por tanto, demandada para publicar), por lo que el denominador es muy bajo, y que los artículos que publica suelen ser bastante extensos, y, como es lógico, cuanto más contenido tenga un artículo más probable es que sea citado, véase, por ejemplo, el artículo de Peñate (2001) (en el que se incluyen varios estudios sobre depresión en un mismo artículo); por otra parte hay que considerar que entre las revistas fuente utilizadas en este estudio hay una mayor cantidad de revistas del ámbito de la Psicología clínica, lo cual por una parte podría interpretarse como un sesgo, pero también se puede interpretar como que es una representación de la realidad, dado que existen más revistas de este campo temático; y, por último, también se debe resaltar que esta revista en el período analizado editó un monográfico sobre un tema de actualidad como es la evaluación de la investigación científica, lo que potencia un incremento del número de citas.

La revista Papeles del Psicólogo hay que compararla en el ranking de Psicología multidisciplinar (en la misma que se incluye Psicothema), y el factor de impacto obtenido por la revista Papeles del Psicólogo en este estudio es de 0,76, lo que se corresponde con el puesto 48 de un total de 102. Revistas de características similares que tienen un factor de impacto inferior son: Annual Psychology (FI= 0,61), American Journal of Psychology (FI= 0,59), Journal of General Psychology (FI= 0,46), Psychological Reports (FI= 0,34), Journal of Psychology (FI= 0,31) y Psychologist (FI= 0,18). Alguna de las razones que explican este factor de impacto de Papeles del Psicólogo puede ser que edita 30.000 ejemplares, y lógicamente, cuanto mayor es la difusión de la revista, hay más facilidad para que sea citada; otra razón es que en esta revista se suelen publicar artículos de obligada referencia para muchos psicólogos, véase, por ejemplo, Muñiz y Fernández-Hermida (2000) (sobre la utilización de los tests en España), Muñiz y Hambleton (1996) (en el que se establecen las normas para la adaptación y traducción de tests), Prieto y Muñiz (2000) (se plantea un modelo para evaluar la calidad de los tests), Santolaya, Berdullas y Fernández-Hermida (2002) (se analiza el desarrollo de la Psicología profesional en España), Buela-Casal, Sierra, Carretero-Dios y De los Santos-Roig (2002) (se describe la situación actual de la evaluación psicológica en lengua castellana), o Frías y Pascual (2003) (donde se plantea el problema de la eficacia de los tratamientos psicológicos); éstos son ejemplos de artículos clave que probablemente serán citados por quien publique sobre esas temáticas.

En el caso de Psicothema hay que resaltar que obtiene un FI= 0,60 con la base de datos utilizada, pero en la que sólo hay tres revistas que también están incluidas en la base del ISI. Según estos datos queda demostrado que el factor de impacto real de Psicothema en el 2003 no es 0,408, tal como aparecerá en el Journal Citation Reports del 2003, pues sería adecuado sumarle las referencias recibidas por otras revistas incluidas en este estudio (aunque hay que restar las referencias de las revistas incluidas en el ISI e incluidas también en este estudio). Además, hay que tener presente que un análisis de referencias con el procedimiento utilizado en este estudio es mucho más preciso que el análisis automático realizado por el ISI; por ejemplo, en el presente estudio se han llegado a detectar errores como citar un artículo publicado en un año diferente al que se publicó; por ejemplo, en Psicothema se publicó un artículo de Varela, Rial y García (2003) en el que se citó un artículo de Sandín, Chorot, Santed y Valiente (2002), pero, por error, este artículo fue citado como si fuese publicado en el año 2003, lo cual implica que si no se detecta, se contabiliza por error para el índice inmediato, y no para el factor de impacto. Los errores en el cálculo del factor de impacto y de otros índices bibliométricos por parte del ISI son relativamente frecuentes, tal como publicaron recientemente los directores de la revista Nature («Errors in Citation Statistics», 2002), lo que ya había sido mencionado por Buela-Casal (2001) un año antes, quien resaltó que «ese índice que se presenta de forma tan exacta, hasta con 3 decimales, no es tan objetivo ni exacto como algunos creen». Las fuentes de error son varias, pues se pueden producir en la contabilización de las veces que se referencia una revista, en el cómputo de los artículos publicados, por los errores de citación por parte de los autores y no detectados por el ISI, por las distintas formas en las que se suele referenciar una revista y por las múltiples formas en la que se abrevia el nombre, lo cual es especialmente más problemático para aquellas revistas que tienen nombres largos y complejos, etc. En la actualidad, incluso hay autores que argumentan que los errores de cálculo del factor de impacto que realiza el ISI son más habituales que casuales, por ejemplo, Anseel, Duyck, De Baene y Brysbaert (2004) reanalizaron el factor de impacto de 15 revistas de Psicología (con FI bajo, medio y alto), y demostraron que en las 15 revistas el ISI había cometido errores, es decir, en el 100% de los casos. Aunque es cierto que en algunas revistas el error era mínimo, en otras, como por ejemplo, en el Journal of Experimental Psychology: Animal Behavior que tenía un FI de 1,37 (en el año 2000) según el ISI, resultó tener un FI de 1,77 según el análisis realizado por estos autores. La importancia del efecto de este error de 0,4 en el factor de impacto significa que una revista como ésta puede pasar del puesto 30 al 20 (aproximadamente) en la categoría de Psicología experimental, donde hay unas setenta revistas clasificadas en función de su FI. Esto es muy importante tenerlo presente, especialmente en aquellos países como es el caso de España, en el que se evalúa la calidad de los artículos en función de si están publicados en revistas del ISI, y que la puntuación del trabajo depende del lugar que ocupa la revista en su ranking correspondiente.

En el momento en el que se publique este artículo el lector se encontrará con dos FI de Psicothema para el año 2003, uno de 0,60 que es el que se aporta en este estudio, y otro el que facilita el ISI, FI= 0,408, y se preguntará cuál es el mejor y cuál se debe usar. Pues lo primero que hay que tener en cuenta es que las bases de datos son distintas, dado que en el presente estudio se compone de revistas fuente editadas en castellano y que sólo tres de ellas son compartidas con el ISI, por tanto, no se contabilizan las mismas referencias (aunque muchas son comunes); en segundo lugar, en el cálculo del FI del 2003 de Psicothema el ISI incluyó en el análisis un número monográfico sobre «Violencia» como suplemento al volumen 13, mientras que los autores del presente estudio no consideraron su inclusión (ni las referencias de este monográfico). La razón de esto es que no se trata de uno de los cuatro números que edita la revista cada año, ni el suplemento a un número, sino al volumen, por tanto, si se considera de forma estricta, no debería entrar en el análisis, pues ni forma parte de los cuatro números que compone el volumen, ni sigue la misma línea temática que la revista, ni el mismo procedimiento de recepción de artículos (en los números monográficos suele ser por invitación del coordinador) y de su revisión (frecuentemente los artículos son revisados por el coordinador), pues en este caso todo depende de los coordinadores del monográfico. Para analizar el efecto que este monográfico ha tenido en el FI de Psicothema del 2003 (según el valor del ISI), los autores del presente estudio contabilizaron las referencias específicas que recibió el monográfico en el 2003, lo que permite calcular cómo afectó al FI, y el resultado muestra que sólo aportó 2 referencias, pero en contrapartida aportó 20 artículos en el denominador, lo que, consecuentemente, produjo una considerable disminución del FI del 2003. Por tanto, no parece razonable su inclusión y que afecte negativamente a la valoración del nivel de impacto que tiene la revista por los artículos que publica de forma regular. La explicación de ser menos referenciado el monográfico que los otros números se puede deber a un falso «efecto de tema de actualidad», un tema puede estar de máxima actualidad en los medios de comunicación, tal como ocurre en este caso en España, pero puede que no sea un tema de actualidad en la investigación, y esto es lo que ocurre con este monográfico y que se demuestra, no sólo por recibir tan pocas citas, sino también por el bajo porcentaje de referencias de los dos últimos años utilizadas por los autores de los artículos. Este monográfico recoge más de mil referencias en la totalidad de los artículos, y el análisis de las mismas demuestra que del año 2002 no hay ni una referencia, del 2001 sólo un 3% y del 2000 un 8%, lo cual indica claramente que no es un tema de actualidad en la investigación, pues los autores invitados supuestamente son especialistas y deben conocer los últimos avances en el campo que se trata. Pero éste no es el único criterio para predecir si un monográfico tendrá «éxito» en la citación, pues hay temas que aunque no estén de moda pueden hacer «reaccionar» a los investigadores, ya que les puede afectar directa o indirectamente sobre la evaluación y reconocimiento de su propia investigación, y un excelente ejemplo es el monográfico que editó (en el mismo año) la revista Análisis y Modificación de Conducta sobre «Evaluación de la investigación científica en Psicología», y que, a diferencia del monográfico de Psicothema, produjo un incremento posterior en la citación de la revista.

En función de las razones comentadas aquí parece claro que es más correcto considerar que Psicothema tiene un FI de 0,60 que de 0,408. El factor de 0,60 no sólo ha sido obtenido por un procedimiento más preciso, sino que además se debe a referencias reales, es decir, la revista fue referenciada en otras revistas científicas de Psicología que no están en las bases de datos del ISI, y no por eso se puede considerar que no «valen» o que tienen menos valor, e incluso si alguien cree que fuese así debe tener presente que el ISI cuenta referencias independientemente de su «calidad» y del factor de impacto de la revista en la que se referencia, tal como argumentó Buela-Casal (2003) al proponer el factor de impacto ponderado.

En cuanto a las autorreferencias, para interpretar estos resultados hay que tener presente que el porcentaje obtenido está muy determinado por el número de revistas incluidas en el análisis. Por ejemplo, en el presente estudio, al analizar 23 revistas, se facilita que se produzca un alto porcentaje de autorreferencias que iría disminuyendo según aumentase el número de referencias debidas a la inclusión de otras revistas en el análisis, es decir, mientras que el número de autorreferencias permanece constante, el porcentaje bajará a medida que aumenten las referencias por incluir más revistas en el análisis. De las tres revistas analizadas en este estudio, dos de ellas, Psicothema y Papeles del Psicólogo tienen un porcentaje relativamente alto de autorreferencias, pero esto puede ser debido al tamaño de la base de datos utilizada, y además, hay que tener presente que según el ISI, las autorreferencias en muchas revistas forman una parte importante de las referencias de una revista. Por el contrario, en el caso de Análisis y Modificación de Conducta, las autorreferencias son muy escasas, dado que sólo 6 de cada 100 referencias que recibe se deben a la propia revista, lo cual indica que esta revista tiene una importante repercusión en investigadores que publican en otras revistas.

El nivel de interacción entre las tres revistas alcanza un valor del 17%, es decir, de cada 100 referencias que reciben estas tres revistas, 17 se producen entre las mismas tres revistas. Esto parece lógico, dado que la totalidad de las revistas analizadas son 23 y que dos de las revistas objeto de estudio pueden considerarse como revistas multidisciplinares de Psicología, pertenecen a un mismo país, por lo que hay proximidad geográfica de los autores y se editan en la misma lengua. Sin embargo, puede llamar la atención que entre Psicothema y Papeles del Psicólogo, el porcentaje de interacción mutua es del 5%, lo cual quizá se pueda explicar por el hecho de que mientras que la primera es más académica, la segunda es una revista más profesional.

A modo de conclusión final, hay que decir que este trabajo es una clara demostración de que es viable, no sólo técnicamente –lo cual es evidente–, sino también en la práctica, poder calcular el factor de impacto y otros índices bibliométricos de revistas no incluidas en las bases de datos del Institute for Scientific Information, lo cual ya fue realizado en España para las revistas médicas (Aleixandre, Valderrama, Castellano, Simó y Navarro, 2004). Los índices bibliométricos obtenidos en el presente trabajo no deben ser considerados como «sucedáneos» de los índices aportados por el ISI, dado que técnicamente son idénticos, e incluso más precisos los aportados en este estudio. Hasta se podría decir que son más válidos y que tienen más validez ecológica, pues en el caso de las revistas españolas, se analizan las referencias entre revistas editadas en la misma lengua y en el mismo entorno cultural y geográfico. Por tanto, todo aquel que quiera evaluar los productos de la ciencia mediante el factor de impacto y otros índices bibliométricos, debe tener presente que hay otras opciones, al menos igual de válidas que las aportadas por el ISI, y no debe olvidar que mientras que el ISI recoge en sus bases de datos sólo tres revistas de Psicología editadas en castellano, existen en la actualidad cerca de quinientas revistas iberoamericanas de Psicología que supuestamente cumplen alguna función, y que su futuro dependerá de la consideración que tengan sobre ellas los psicólogos iberoamericanos.

Nota

¹ Aunque comúnmente se utiliza el término «cita» en relación al factor de impacto, en este trabajo se ha sustituido el término por el de referencia, por considerarse más preciso en la medida en que lo que se analizan son las referencias y no el número de veces que un trabajo aparece citado en el texto.

Agudelo, D., Bretón-López, J. y Buela-Casal, G. (2003a). Análisis bibliométrico de las revistas de Psicología clínica editadas en castellano. Psicothema, 15, 507-516.

Agudelo, D., Bretón-López, J. y Buela-Casal, G. (2003b). Análisis comparativo de las revistas de Psicología de la Salud editadas en castellano. Revista Latinoamericana de Psicología, 35, 359-377.

Agudelo, D., Bretón-López, J., Ortiz-Recio, G., Poveda-Vera, J., Teva, I., Valor-Segura, I. y Vico, C. (2003). Análisis de la productividad científica de la Psicología española a través de las tesis doctorales. Psicothema, 15, 595-609.

Aleixandre, R., Valderrama, J.C., Castellano, M., Simó, R. y Navarro, C. (2004). Factor de impacto de las revistas médicas españolas. Medicina Clínica (en prensa).

Ansel, F., Duyck, W., De Baene, W. y Brysbaert, M. (2004). Journal impact factors and self-citations: implications for psychological journals. American Psychologist, 59, 49-51.

Bobenrieth, M.A. (2002). Normas para la revisión de artículos originales en ciencias de la salud. Revista Internacional de Psicología Clínica y de la Salud / International Journal of Clinical and Health Psychology, 2, 509-523.

Brunstein, J. (2000). End of the impact factors? Nature, 403.

Buela-Casal, G. (2001). La psicología española y su proyección internacional. El problema del criterio: internacional, calidad y castellano y/o inglés. Papeles del Psicólogo, 79, 53-57.

Buela-Casal, G. (2002). La evaluación de la investigación científica: el criterio de la opinión de la mayoría, el factor de impacto, el factor de prestigio y «Los Diez Mandamientos» para incrementar las citas. Análisis y Modificación de Conducta, 28, 455-475.

Buela-Casal, G. (2003). Evaluación de la calidad de los artículos y de las revistas científicas: propuesta del factor de impacto ponderado y de un índice de calidad. Psicothema, 15, 23-35.

Buela-Casal, G., Carretero-Dios, H. y De los Santos-Roig, M. (2002). Análisis comparativo de las revistas de Psicología en castellano con factor de impacto. Psicothema, 14, 837-852.

Buela-Casal, G., Carretero-Dios, H. y De los Santos-Roig, M. (2003). Análisis bibliométrico de las revistas latinoamericanas de Psicología con factor de impacto. Revista Mexicana de Psicología, 2, 315-326.

Buela-Casal, G., Fernández-Hermida, J.R. y López, W. (2003). Iberindex: Índice Iberoamericano de evaluación de publicaciones científicas. Papeles del Psicólogo, 24, (supl. Infocop), 41-44.

Buela-Casal, G., Sierra, J.C., Carretero-Dios, H. y De los Santos-Roig, M. (2002). Situación actual de la evaluación psicológica en lengua castellana. Papeles del Psicólogo, 83, 27-33.

Delgado, E. (1999). ISO standars for the presentation of scientific periodicals: little know and little used by spanish biomedical journals. Journal of Documentation, 55, 288-309.

Díaz, M., Asensio, B., Llorente, G., Moreno, E., Montori, A., Palomares, F., Palomo, J., Pulido, F., Senar, J.C. y Tellería, J.L. (2001). El futuro de las revistas científicas españolas: un esfuerzo científico, social e institucional. Revista Española de Documentación Científica, 24, 306-314.

Echeburúa, E. (2002). El sistema de sexenios en la evaluación de la actividad investigadora en el ámbito de la Psicología clínica: una primera reflexión. Análisis y Modificación de Conducta, 28, 391-404.

Errors in citation statistics: Opinion of the Nature editors (2002, 10 de enero). Nature, 415, 101.

Frías, M.D. y Pascual, J. (2003). Psicología clínica basada en pruebas: efecto del tratamiento. Papeles del Psicólogo, 24, 11-18.

Garfield, E. (2001). Impact factors, and why they won’t go away. Nature, 411.

Garfield, E. (2003). The meaning of the impact factor. Revista Internacional de Psicología Clínica y de la Salud / International Journal of Clinical and Health Psychology, 3, 363-369.

Gil-Roales, J. y Luciano, M.C. (2002). A la calidad por the quantity (porque la cantidad no vale). Algunas reflexiones sobre los criterios de evaluación de la evaluación de la calidad de la investigación psicológica. Análisis y Modificación de Conducta, 28, 431-454.

Jiménez-Contreras, E., Faba, C. y Moya, F. (2001). El destino de las revistas científicas nacionales. El caso español a través de una muestra (1950-90). Revista Española de Documentación Científica, 24, 147-161.

Montero, I. y León, O. (2002). Clasificación y descripción de las metodologías de investigación en Psicología. Revista Internacional de Psicología Clínica y de la Salud / International Journal of Clinical and Health Psychology, 2, 503-508.

Muñiz, J. y Fernández-Hermida, J.R. (2000). La utilización de los tests en España. Papeles del Psicólogo, 76, 41-49.

Muñiz, J. y Hambleton, R.K. (1996). Directrices para la adaptación y traducción de tests. Papeles del Psicólogo, 66, 63-70.

Pelechano, V. (2002a). Epílogo del Monográfico 2002: la valoración de la actividad científica. Análisis y Modificación de Conducta, 28, 477-479.

Pelechano, V. (2002b). Presentación del Monográfico 2002: la valoración de la actividad científica. Análisis y Modificación de Conducta, 28, 311-316.

Pelechano, V. (2002c). Valoración de la actividad científica en Psicología. ¿Pseudoproblema, sociologismo o idealismo? Análisis y Modificación de Conducta, 28, 323-362.

Peñate, W. (2001). Presentación de un cuestionario básico para evaluar los síntomas genuinos de la depresión. Análisis y Modificación de Conducta, 27, 671-869.

Pérez, M. (2002). La Psicología en el contexto de la cultura española. Análisis y Modificación de Conducta, 28, 405-430.

Polaino, A. (2002). Ciencia, política y política de la investigación. Análisis y Modificación de Conducta, 28, 363-390.

Prieto, G. y Muñiz, J. (2000). Un modelo para evaluar la calidad de los tests utilizados en España. Papeles del Psicólogo, 77, 65-75.

Sandín, B., Chorot, P., Santed, M.A. y Valiente, R.M. (2002). Análisis factorial confirmatorio del Índice de Sensibilidad a la Ansiedad para niños. Psicothema, 14, 333-339.

Santolaya, F., Berdullas, M. y Fernández-Hermida, J.R. (2002). La década 1989-1998 en la Psicología española: análisis del desarrollo de la Psicología profesional en España. Papeles del Psicólogo, 22, 65-82.

Sierra, J.C. y Zubeidat, I. (2002). Análisis bibliométrico de la revista Journal of Sex and Marital Therapy (1980-2001). Revista Internacional de Psicología Clínica y de la Salud / International Journal of Clinical and Health Psychology, 2, 351-362.

Siguán, M. (2002). Evaluando manuscritos: la experiencia de un director. Análisis y Modificación de Conducta, 28, 317-322.

Sternberg, R.J. (2003). There is no place for hostile reviews. Revista Internacional de Psicología Clínica y de la Salud / International Journal of Clinical and Health Psychology, 3, 159-161.

Varela, J., Rial, A. y García, E. (2003). Presentación de una escala de satisfacción con los Servicios Sanitarios de Atención Primaria. Psicothema, 15, 656-661.