Psicothema, 2010. Vol. Vol. 22 (nº 4). 898-908

Rafael Ruiz-Pérez, Emilio Delgado López-Cózar y Evaristo Jiménez-Contreras

Estudio sobre los orígenes, filosofía y trayectoria de los criterios de evaluación de la actividad investigadora utilizados en España por la CNEAI. Se analizan los criterios de valoración e indicios de calidad de las publicaciones. Se presentan los criterios en su desarrollo temporal, estructurados por tipo de publicaciones (artículos y libros) y campos de conocimiento. Se concluye que hasta 1996 la evaluación se sustenta en la definición y objetivos del sistema y en criterios generales. Entre 1996-2004 se inicia la formulación de los indicadores de calidad de la investigación, quedando asociados casi exclusivamente con las publicaciones de impacto (revistas JCR). Las tasas de éxito hasta 2004 indican que criterios de evaluación y comportamientos de publicación correlacionan en las «ciencias duras», pero no en Sociales ni en Economía. En 2005 se desarrollan y reorientan los criterios para suavizar el JCR-centrismo precedente, considerando otras bases de datos y definiendo los criterios de calidad homologables que deben cumplir revistas, libros y congresos. Las tasas de éxito de 2007 indican una recuperación espectacular en Economía. En los 4 últimos años se ha consolidado la apertura de los criterios con la incorporación de nuevos índices de referencia y la plena integración de los libros.

Principles and criteria used by the National Evaluation Committee of Research Activity (CNEAI-Spain) for the assessment of scientific publications: 1989-2009. Study of the origins, philosophy and history of the criteria used to assess research activities in Spain by the CNEAI. The assessment criteria and quality evidence of publications is discussed. Results are presented on the temporal development of the criteria used, grouped by publication type (articles and books) and fields of knowledge. Between 1989-1996, assessment was based on the definition and goals set by the Spanish scientific framework and on general criteria. Between 1996-2004, the formulation of indicators began to be almost exclusively based on Journal Citation Reorts (JCR). Success rates up to 2004 indicate that the evaluation criteria and publishing behaviour matched the «hard sciences», but not the Social Sciences and Economics. In 2005, the criteria used were further developed and reoriented with an eye to softening the preceding JCR-centrism by taking into consideration other databases and defining the quality criteria to be met by journals, books and conferences not included in JCR. Correspondingly, the success rates for 2007 indicate a dramatic recovery in Economics. In the last 4 years, Humanities and Social Sciences have consolidated the further opening of the criteria used with the addition of new benchmarks and the full integration of books.