Psicothema, 2004. Vol. Vol. 16 (nº 3). 343-349

Victoria Gordillo, Javier González Marqués y José Muñiz^*

Se describe el método de evaluación de los proyectos de investigación seguido por la Agencia Nacional de Evaluación y Prospectiva (ANEP). Se analiza la problemática implicada en la revisión por pares utilizada, y se comentan los siguientes parámetros considerados en la evaluación: experiencia del equipo, interés de los objetivos, viabilidad de la propuesta, coordinación entre equipos, plan de difusión establecido, adecuación del presupuesto, capacidad formativa del grupo investigador, asignación de técnicos, informe final y valoración final. Tras la descripción del procedimiento y de las dificultades más habituales de cada fase, se presentan los datos provenientes de una convocatoria reciente de Promoción General del Conocimiento del Ministerio de Ciencia y Tecnología en el área de Psicología y Educación. Los resultados de la evaluación de esta convocatoria se desglosan en función del sexo de los investigadores principales, universidades, comunidades autónomas y áreas de conocimiento, lo que permite hacerse una idea bastante ajustada y actual de la situación investigadora en las áreas de Psicología y Educación en España. Los datos indican que, en general, los proyectos de Psicología aparecen mejor valorados por los revisores que los de Educación. Finalmente, se extraen algunas conclusiones tentativas y se hacen algunas recomendaciones cara al futuro.

Evaluation of research projects by the Spanish Agency of Evaluation and Prospective. This paper describes the procedure used by the Spanish Agency of Evaluation and Prospective (ANEP) to evaluate research projects. The problems involved in the peer review system used by the ANEP are analysed, and the following parameters used in the evaluation process, and the weights assigned to them, are discussed: experience of the research team, relevance of the objectives, viability of the proposal, coordination between research groups, dissemination of results, budget suitability, research group training capability, assignment of technicians, final report, and final evaluation of the research project. Recent descriptive data from the Spanish Ministry of Science and Technology, in the research areas of Psychology and Education, are presented, providing an overview of current Spanish research in psychology and education. Results show that psychology research projects receive more favourable evaluations than projects in education. Results are disaggregated by sex, university, autonomous region, specific academic field, and other variables of interest. Finally, some tentative conclusions are drawn and future perspectives are discussed.

La evaluación de trabajos científicos, bien se trate de proyectos de investigación, artículos para revistas, informes, o cualquier otra modalidad, es un asunto complicado de resolver de forma totalmente satisfactoria para todas las partes implicadas. Seguramente es imposible que tras una evaluación queden satisfechos los evaluados, los evaluadores, las instituciones involucradas y, a los cien años, la ciencia misma. Como bien aprendimos de Hegel, hasta una verdad como que ahora es de día, dejará de serlo a las pocas horas, nada está fuera del espacio y del tiempo, nada es para siempre, nada es perfecto; el propio Kant nos advirtió acerca de la imposibilidad de sacar algo estrictamente recto a partir del torcido leño del que está hecha la humanidad. Aunque con esas y otras muchas precauciones de salida (Sokal y Bricmont, 1999), alguien tiene que evaluar, y sólo lo pueden hacer los humanos, no hay alternativa. Cómo y quiénes deben de hacerlo es una cuestión abierta. Un análisis desde distintos puntos de vista sobre la problemática de evaluar la producción científica puede consultarse en el excelente número monográfico dedicado recientemente al tema por la revista Análisis y Modificación de Conducta (Buela-Casal, 2002; Echeburúa, 2002; Gil Roales y Luciano, 2002; Pelechano, 2002; Pérez, 2002; Polaino-Lorente, 2002; Siguán, 2002). Allí remitimos al lector interesado en explorar a fondo y desde distintos ángulos la problemática de la evaluación de la investigación científica.

Las pretensiones del presente trabajo son bastante más limitadas que el terciar en el deber ser de la evaluación de la producción científica. Con fines ilustrativos y pragmáticos para los investigadores españoles, se expone la forma en la que lleva a cabo la evaluación de los proyectos de investigación la Agencia Nacional de Evaluación y Prospectiva (ANEP), y se aporta una descripción y análisis de los datos provenientes de una convocatoria reciente del Plan Nacional de Investigación, Promoción General del Conocimiento, áreas de Psicología y Educación. Creemos que estos datos pueden ser de gran utilidad para orientar a los investigadores en la elaboración de sus proyectos, a la vez que ayudan a conocer mejor la realidad investigadora en las áreas científicas citadas a los propios interesados y a las autoridades que toman las decisiones.

Evaluación de la ANEP

El procedimiento que utiliza la ANEP para evaluar los proyectos de investigación correspondientes a la convocatoria del Plan Nacional de Investigación (Promoción General del Conocimiento) del Ministerio de Ciencia y Tecnología (MCyT) es el habitual que utilizan las revistas científicas para evaluar los manuscritos: el proyecto a evaluar se envía a dos revisores expertos que deben de realizar un informe con la correspondiente puntuación en cada apartado y una calificación final. Este procedimiento de evaluación por expertos, por pares, ya plantea de entrada dos problemas clásicos: quién asigna los evaluadores, y qué aspectos del proyecto deben de evaluar éstos. En el caso de la ANEP los evaluadores los asigna el coordinador del área científica correspondiente, asesorado por los colaboradores nombrados oficialmente por la agencia. Recibidos los dos informes de los revisores, los responsables del área científica correspondiente de la ANEP elaboran un informe final sobre el proyecto. Este proceso, aparentemente lineal y sencillo, no está exento de dificultades prácticas que han de ir resolviéndose con buen criterio. La primera es que algunos de los revisores asignados no responden. Hace falta haber sido formateado muy defectuosamente desde el punto de vista académico y científico para observar esta conducta, pero ocurre entre los investigadores españoles con cierta frecuencia. Naturalmente, no estamos hablando de casos en los cuales el revisor no puede llevar a cabo la revisión por razones diversas, siempre comprensibles que comunica oportunamente. Cuando por alguna razón un revisor falla, el proyecto se asigna a otro. Un segundo problema que ocurre con cierta frecuencia es que los informes de los dos revisores no sean razonablemente convergentes, en cuyo caso se asigna un tercero. También se asigna un tercero cuando alguno de los informes es deficiente, pues no todos los revisores hacen buenos informes. En líneas generales un buen informe es aquel que sabe resaltar los puntos fuertes y los puntos débiles del proyecto y es constructivo, utilizando un lenguaje no ofensivo (Sternberg, 2003). No hace falta ofender ni humillar a los investigadores para decir lo que hay que decir. El informe final de un proyecto se elabora con las evaluaciones de los dos revisores más la del experto de la ANEP (coordinador o asesor) que hace el informe final. Este sistema de evaluación utilizado por la ANEP seguramente no es perfecto, nada humano lo es, pero es difícil de presentar un modelo alternativo mejor, económico y viable en la práctica.

Una vez evaluado el proyecto, ¿quién y cómo se decide si el proyecto es financiado y con qué cantidad? La ANEP es un organismo independiente y autónomo cuya misión única es evaluar; la asignación de fondos a los proyectos corresponde al Ministerio de Ciencia y Tecnología, que, teniendo en cuenta las calificaciones de la ANEP y las de sus propios expertos, toma las decisiones al respecto, ajustándose a las disponibilidades económicas de la convocatoria.

Parámetros evaluados

La segunda cuestión discutible es qué parámetros del proyecto deben de evaluarse y qué peso ha de asignarse a cada uno de ellos. La plantilla utilizada por la ANEP varía ligeramente de unas convocatorias a otras, intentando mejorarla con la experiencia. Por ejemplo, en la convocatoria de 2003 los aspectos puntuados fueron los siguientes.

– Experiencia del equipo: de 0 a 10 puntos.

– Interés de los objetivos: de 0 a 10 puntos.

– Viabilidad de la propuesta: de 0 a 10 puntos.

– Coordinación (si se trata de un proyecto coordinado): Evaluación no numérica.

– Plan de difusión propuesto (evaluación no numérica).

– Adecuación del presupuesto (evaluación no numérica).

– Capacidad formativa del grupo investigador: Baja, Media, Alta.

– Conveniencia de que se asigne un técnico (Sí o No).

– Informe final: redacción global, evaluación no numérica.

– Valoración final del proyecto: de 1 a 6 (Insuficiente, Dudoso, Aceptable, Bueno, Muy bueno, Excelente).

Se comentan a continuación algunos de estos parámetros, reseñando los errores y malentendidos más frecuentes. Estas dimensiones recogen razonablemente lo esencial que hay que evaluar en un proyecto, aunque siempre serían susceptibles de ser complementadas con otras.

Experiencia del equipo

Una cuestión discutible es el peso que debe darse a cada uno de estos parámetros en la evaluación final de un proyecto. Existe una corriente de opinión bastante extendida entre los investigadores y gestores que considera que lo esencial, y lo que más peso debería de tener, es la historia del grupo, es decir, sus logros, sus publicaciones, proyectos previos, patentes, etc. La lógica que subyace a esta postura es que lo que mejor predice el futuro es el pasado. Esta corriente lleva directamente a la filosofía de los grupos de excelencia, que recibirían financiación regularmente si demuestran que siguen siendo competitivos, productivos. Llevado a sus últimas consecuencias, la financiación quedaría atrapada por los grupos de excelencia y sería difícil que diesen el salto los grupos emergentes o pre-competitivos. Bien es verdad que estos grupos tienen convocatorias especialmente pensadas para ellos, tales como las regionales, o las de las comunidades autónomas. La postura más razonable y operativa, como la adoptada por la ANEP, es dar un elevado peso al historial del grupo, pero evaluar también otros aspectos, pues además de ser un grupo competitivo hay que demostrar que el proyecto presentado está bien hecho y es de interés, aunque lógicamente la correlación entre lo uno y lo otro suele ser elevada.

Interés de los objetivos

Lo esencial a evaluar aquí por parte de los evaluadores son las contribuciones científico-técnicas esperables del proyecto, así como la relevancia y novedad de los objetivos. Con más frecuencia de lo deseable los objetivos del proyecto aparecen vagamente definidos, lo que dificulta una correcta evaluación por parte de los expertos, e impide evaluar con rigor si aportan algo novedoso sobre lo ya conocido. Establecer de forma concisa y clara el estado actual de la cuestión ayudará a los evaluadores a estimar de forma adecuada el interés y novedad de lo propuesto.

Viabilidad de la propuesta

Se trata de ver la adecuación de la metodología propuesta, el diseño de investigación, el análisis de los datos y el plan de trabajo en relación con los objetivos del proyecto. Los investigadores deberían de evitar formulaciones genéricas, más parecidas a formulaciones vagas de deseos que a un plan preciso y bien definido de investigación. Cuando se proponen proyectos coordinados entre varios grupos de investigación, es fundamental demostrar la complementariedad de los equipos y la necesidad de coordinación, ha de quedar claro que el trabajo conjunto de los grupos es más aconsejable que la presentación de proyectos independientes.

Plan de difusión

Han de quedar muy claros los niveles de difusión y los medios que se van a utilizar. En los proyectos más básicos la difusión suele ir dirigida a los investigadores especializados, de modo que son las revistas científicas los principales destinatarios de los resultados del proyecto. La difusión es tanto mejor cuanto mayor factor de impacto tienen las revistas en las que se publica. Las limitaciones del factor de impacto de las revistas como indicador de calidad de los artículos son conocidas (Agudelo, Bretón-López y Buela-Casal, 2003; Buela-Casal, 2002, 2003; Garfield, 1996; McCarty, 2002; Seglen, 1997), pero aquí pasa como en el sistema de revisores, de momento no hay muchas alternativas convincentes y viables. Cuanto más tiempo tarden los investigadores en asumir esa realidad como parte de las reglas del juego, mayor será el perjuicio para la financiación de sus grupos. Los grupos emergentes deberían de poner todas sus energías en publicar en las mejores revistas de su campo, es la única garantía que tiene para convertirse en competitivos y acceder a la financiación nacional y europea. Mutatis mutandis, algo similar puede predicarse para los congresos en los que los investigadores presentan los resultados, combinar los nacionales con los internacionales es lo deseable, nada impide que lo local y lo internacional se combine de forma sensata, ambos planos son necesarios.

En los proyectos de vertiente más aplicada a veces es necesario complementar la difusión especializada con la divulgación para hacer llegar los resultados novedosos a colectivos de profesionales y usuarios que se pueden beneficiar de ellos. También la colaboración con empresas puede ser muy interesante, pero siempre que se distingan con claridad los objetivos de investigación y los meramente comerciales.

Adecuación del presupuesto

Muchos investigadores aún plantean sus presupuestos inflados pensando que así maximizan su financiación; sin embargo, ésta es una estrategia peligrosa. En primer lugar, si el presupuesto no es ajustado el evaluador lo hará notar como punto débil y rebajará la valoración final del proyecto. Además, la credibilidad del grupo se resiente, pues si exagera y distorsiona en ese apartado no hay razón para pensar que no lo haga en otros, en suma, pierde credibilidad. El presupuesto debe de ajustarse de forma estricta a los gastos reales estimados, así de simple.

Para hacerse una idea descriptiva de las características de los proyectos presentados en el área de Psicología y Educación se ofrecen a continuación algunos datos correspondientes a una convocatoria reciente del MCyT de Promoción General del Conocimiento, que permiten, a modo de foto fija, hacerse una idea del perfil investigador actual de estos dos campos científicos, Psicología y Educación.

Resultados

En la tabla 1 se recoge la distribución de los proyectos según el número de investigadores que forman parte del equipo de acuerdo con la solicitud presentada. En este grupo se incluyen profesores de todas las categorías, becarios e incluso otros colaboradores como estudiantes de doctorado o técnicos. Podemos observar que el número más frecuente es 4 y que la mayor parte de los proyectos oscilan entre 3 y 8 investigadores (72%). Dado que el rango oscila entre 1 y 23 investigadores, la dispersión de los datos es elevada. La tabla 1 recoge los estadísticos de tendencia central y de dispersión correspondientes a esta distribución.

Si centramos nuestra atención en los investigadores principales de los diferentes proyectos, podemos encontrar en el gráfico 1 su distribución de acuerdo con su categoría académica. En ella observamos que la mayor parte de los solicitantes son profesores titulares de Universidad seguidos a gran distancia por los catedráticos de Universidad. El resto de las categorías tiene valores inferiores al 10% del total.

En relación con las áreas de conocimiento a las que se adscriben los investigadores principales, hemos agrupado en un solo bloque las didácticas especiales. El área en la que se ha presentado un mayor número de proyectos es la de Psicología Evolutiva y de la Educación, que está vinculada con ambos campos, Psicología y Educación. La tabla 2 ofrece la distribución de los proyectos solicitados en función del área de conocimiento a la que está adscrito el investigador principal.

La tabla 3 ofrece la distribución de los proyectos solicitados por la comunidad autónoma a la que pertenece el centro en el que presta sus servicios el investigador principal. En esta distribución podemos comprobar que se destaca claramente Andalucía sobre todas las demás, seguida de Cataluña y, a mayor distancia, Valencia, Galicia y Madrid. La única comunidad de la que no se ha presentado ninguna solicitud es Navarra.

En el gráfico 2 puede observarse que la mayor parte de las solicitudes, el 61%, tienen como investigador principal un hombre frente al 39% que tienen una mujer.

En la tabla 4 se recogen los principales datos de cada una de las partidas presupuestarias. Se puede observar que el mayor peso de las cantidades pedidas, en torno a un 40% de lo solicitado, corresponde a la partida de personal, mientras las restantes partidas oscilan entre el 9% y el 15% aproximadamente. Existe una gran variabilidad entre los presupuestos solicitados para los distintos proyectos, lo cual se explica principalmente por la diversidad de campos temáticos de Psicología y Educación, con muy diferentes exigencias económicas para desarrollar investigaciones de calidad.

En relación con las evaluaciones, se han recibido en torno a un 85% de las solicitadas, que representa una cifra muy razonable, aunque mejorable. Algunos de los expertos rechazan evaluar el proyecto asignado por diferentes motivos, otros, los menos, dan la callada por respuesta. Se ha constatado que parte de estos fallidos se deben a deficiencias del sistema informático de los revisores, dado que en la actualidad todo el proceso de revisión de la ANEP se hace vía correo electrónico. La falta de algunos de los datos con los que se realizan los análisis que vamos a presentar a continuación hace que el número de casos sea inferior al de evaluaciones solicitadas y varíe de unas tablas a otras. El gráfico 3 ofrece la distribución de los evaluadores por categorías académicas. En ella se observa que más del 90% de las evaluaciones han sido realizadas por catedráticos o profesores titulares de Universidad repartidas casi por igual entre ambas categorías.

En la tabla 5 se muestra la distribución de los evaluadores en función de las áreas de conocimiento a las que se encuentran adscritos. Se ha mantenido el mismo tipo de agrupación de áreas de conocimiento que el utilizado en la tabla 3. Quizás el dato más destacable sea el incremento de la proporción de profesores de las áreas metodológicas a los que se solicita evaluación en relación con los que han solicitado financiación para proyectos como investigadores principales. Esta descompensación proviene de la importancia de evaluar los aspectos metodológicos de los proyectos, además de los sustantivos, lo que lleva a recurrir con frecuencia a revisores de las áreas metodológicas.

La tabla 6 ofrece la distribución de los evaluadores de acuerdo con la comunidad autónoma a la que pertenece su centro de trabajo. Podemos observar que las comunidades de Cantabria y La Rioja, en las que no existen centros en los que se impartan las licenciaturas de Psicología o de Ciencias de la Educación, no han aportado evaluadores. Algunas otras en las que tampoco existen esas titulaciones han aportado un número muy reducido de evaluadores, casos de Navarra o de Castilla La Mancha. En el sentido contrario, Madrid, Valencia, Andalucía y Cataluña, en las que existen varios centros en los que se imparten estas titulaciones, presentan los valores más altos en cuanto al número de evaluadores que han aportado.

En el gráfico 4 se recoge la distribución de los evaluadores en función del sexo. Como se puede observar, el 70% de los evaluadores han sido hombres, mientras que el 30% han sido mujeres.

A continuación vamos a pasar a ocuparnos de las puntuaciones que han sido otorgadas a los diferentes proyectos presentados. La tabla 7 ofrece las valoraciones concedidas a los proyectos en función de la categoría académica de su investigador principal. En ella podemos observar cómo aparece un solo proyecto valorado como excelente y cómo únicamente en la categoría de catedráticos se supera como valor promedio la calificación de aceptable. También puede llamar la atención que los contratados ocupen el segundo lugar, si bien su número es reducido (18) y la diferencia de puntuación con relación a las restantes categorías es muy escasa.

En la tabla 8 se ofrece la distribución de las valoraciones concedidas a cada uno de los proyectos en función del sexo del investigador principal. Podemos comprobar cómo casi el 55% de las mujeres obtiene las valoraciones de «Insuficiente» o «Dudoso», mientras que apenas unas décimas más del 40% de los hombres las alcanzan; por otra parte, éstos obtienen aproximadamente un 35% de valoraciones como «Bueno», «Muy Bueno» y «Excelente» por un escaso 20% en el caso de las mujeres, sin que ninguna de éstas alcance la calificación de «Excelente».

En la tabla 9 podemos encontrar la distribución de estas evaluaciones en función del área de conocimiento a la que está adscrito el investigador principal. En ella podemos observar cómo las puntuaciones superiores son las que corresponden a las áreas de Psicobiología, de Personalidad, Evaluación y Tratamientos Psicológicos y de Metodología de las Ciencias del Comportamiento, mientras que las inferiores son las correspondientes a las de Didácticas Especiales, de Didáctica y Organización Escolar y de Teoría e Historia de la Educación.

Los datos de la tabla 10 indican que el comportamiento de las áreas de conocimiento propias del campo de la Psicología difiere del campo de la Educación, obteniéndose puntuaciones medias más bajas en Educación (2.31) que en Psicología (3.10).

En la tabla 11 puede verse la relación de las universidades de acuerdo con la valoración media de sus solicitudes junto con el número de éstas. Se han excluido de la tabla aquellas con menos de cinco proyectos presentados. Globalmente, las universidades mejor valoradas, con tres o más puntos, son, respectivamente, Autónoma de Madrid (3,57), Islas Baleares (3,36), Complutense (3,15), UNED (3,09), Almería (3,08), Autónoma de Barcelona (3,06), Valencia y Oviedo (3).

Esperamos que los datos presentados permitan hacerse una idea general del procedimiento seguido por la Agencia Nacional de Evaluación y Prospectiva (ANEP) para evaluar los proyectos, así como sacar una idea aproximada del perfil investigador de las áreas de Psicología y de Educación. Los datos provienen de una convocatoria nacional importante, como es la Promoción General del Conocimiento del Ministerio de Ciencia y Tecnología; si bien no conviene olvidar que los investigadores acuden también a otras convocatorias nacionales específicas, regionales, locales, europeas, amén de otras hechas por instituciones privadas de todo tipo. Por tanto, la representatividad de los datos ha de ser tomada con cautela, a modo de indicadores de tendencias. Sería aconsejable que este tipo de datos fuesen hechos públicos de forma regular, tanto por parte del Ministerio de Ciencia y Tecnología, como por la propia ANEP, pues ello ayudaría tanto a investigadores como a gestores en el proceso de mejorar de la ciencia realizada en nuestro país.

Los datos indican una tendencia clara a la formación de grupos de investigación cada vez más competitivos, la excepción ya empieza a ser el trabajo de investigadores aislados, aunque aún falta mucho recorrido para llegar a los agrupamientos existentes en ciencias como Química o Biología, por citar dos ejemplos. Como se puede observar en la tabla 1, lo más habitual es cuatro miembros por grupo, con una media de 6,66 y una elevada variabilidad (3,84). Los profesores titulares figuran con más frecuencia como investigadores principales que los catedráticos (Gráfico 1), lo cual es acorde con el número de unos y otros. Las calificaciones obtenidas por los grupos cuyo investigador principal era un catedrático son ligeramente superiores al resto de categorías académicas (Tabla 7). Otra tendencia clara que se puede observar es que los proyectos de Psicología obtienen puntuaciones superiores (3,10) a los de Educación (2,31) (Tabla 10). Por áreas de conocimiento, todas las de Psicología están por encima de las de Educación (Tabla 9), con el siguiente orden: Psicobiología (3,59), Personalidad, Evaluación y Tratamientos Psicológicos (3,44), Metodología de las Ciencias del Comportamiento (3,40), Psicología Básica (3,18), Psicología Social (3,07) y Psicología Evolutiva y de la Educación (2,60). Como se puede ver, todas las áreas de Psicología están por encima de la media (3), excepto Psicología Evolutiva, lo cual seguramente se explica principalmente por los grupos pre-competitivos de las Escuelas de Magisterio que acuden a estas convocatorias nacionales con muy pocas posibilidades de éxito. En este sentido, se echan de menos las convocatorias del desaparecido CIDE, donde estos grupos podían encontrar un mejor encaje. En cuanto a las áreas de Educación, ninguna de ellas alcanza el valor medio de tres. Finalmente, se ofrecen los datos de las universidades (Tabla 11), destacando la evaluación obtenida por la Autónoma de Madrid (3,57), Islas Baleares (3,36), Complutense (3,15), UNED (3,09), Almería (3,08), Autónoma de Barcelona (3,06), Oviedo (3) y Valencia (3).

Vistos los datos en conjunto, todo parece indicar que la Psicología española se encuentra en un buen momento, tanto en lo relativo a la cantidad de grupos competitivos que se han ido formando durante los últimos años, como a la calidad de las investigaciones presentadas, lo cual puede comprobarse también si se observa la presencia de nuestros investigadores en las revistas internacionales más prestigiosas. No todas las áreas de conocimiento están al mismo nivel, pero la tendencia que se observa apunta en la dirección adecuada. Todo parece indicar que si se logra mejorar el apoyo económico que reciben actualmente los grupos, y se evalúan de forma rigurosa y ecuánime sus producciones, sin sectarismos de escuela ni localismos, la investigación psicológica española podría consolidarse a nivel internacional los próximos años.

Agradecimientos

Los autores desean expresar su mayor agradecimiento a la Agencia Nacional de Evaluación y Prospectiva (ANEP) por permitirles utilizar la base de datos de la Agencia con fines estadísticos, sin estos datos este artículo no hubiera sido posible.

Agudelo, D., Bretón-López, J. y Buela-Casal, G. (2003). Análisis bibliométrico de las revistas de psicología clínica editadas en castellano. Psicothema, 15, 507-516.

Buela-Casal, G. (2002). Evaluación de la investigación científica: el criterio de la mayoría. Análisis y Modificación de Conducta, 28, 455-475.

Buela-Casal, G. (2003). Evaluación de la calidad de los artículos y de las revistas científicas: propuesta de factor de impacto ponderado y de un índice de calidad. Psicothema, 15, 23-35.

Echeburúa, E. (2002). El sistema de sexenios en la evaluación de la actividad investigadora en el ámbito de la psicología clínica: una primera reflexión. Análisis y Modificación de Conducta, 28, 391-404.

Garfield, E. (1996). How can impact factors be improved? British Medical Journal, 313, 411-413.

Gil-Roales, J. y Luciano, C. (2002). A la calidad por the quantity (porque la cantidad no vale). Algunas reflexiones sobre los criterios de evaluación de la calidad de la investigación en Psicología. Análisis y Modificación de Conducta, 28, 431-454.

McCarty, R. (2002). Science, politics, and peer review. An editor’s dilema. American Psychologist, 57, 198-201.

Pelechano, V. (2002). Valoración de la actividad científica en Psicología. ¿Pseudoproblema, sociologismo o ideologismo? Análisis y Modificación de Conducta, 28, 323-362.

Pérez, M. (2002). La Psicología en el contexto de la cultura española. Análisis y Modificación de Conducta, 28, 405-430.

Polaino-Lorente, A. (2002). Ciencia, política y política de la investigación. Análisis y Modificación de Conducta, 28, 363-390.

Seglen, P. O. (1997). Why the impact factor of journals should not be used for evaluating research. British Medical Journal, 314, 498-502.

Siguán, M. (2002). Evaluando originales: la experiencia de un director. Análisis y Modificación de Conducta, 28, 317-322.

Sokal, A. y Bricmont, J. (1999). Imposturas intelectuales. Barcelona: Paidós (orig. 1998).

Sternberg, R. R. (2003). There is not place for hostile review. Revista Internacional de Psicología Clínica y de la Salud. International Journal of Clinical and Health Psychology, 3, 159-161. English