FUNCIONAMIENTO DIFERENCIAL DE LOS ÍTEMS: UN ANÁLISIS BIBLIOMÉTRICO DE LAS REVISTAS EDITADAS EN ESPAÑOL

Georgina Guilera, Juana Gómez y M. Dolores Hidalgo^*

Universidad de Barcelona y * Universidad de Murcia

Este estudio pretende proporcionar una visión sobre la producción científica desarrollada en el tema del DIF en revistas editadas en español. Para la identificación de los documentos incluidos en este estudio se han utilizado las bases de datos Psicodoc, y Science Citation Index y Social Science Citation Index de la Web of Science. Los análisis llevados a cabo se centran fundamentalmente en la presentación de frecuencias y porcentajes de publicaciones en relación a diversos indicadores bibliométricos. Los resultados constatan que el interés por el tema del DIF ha ido en aumento, siendo las universidades las instituciones más productivas, y que la mayoría de artículos han sido publicados en la revista Psicothema.

Differential item functioning: a bibliometric analysis of journals published in Spanish. This study aims to provide an overview of scientific productivity with respect to articles published in Spanish on the issue of DIF. The documents included in the study were identified using the Psicodoc database, as well as the Science Citation Index and Social Science Citation Index from the Web of Science. The analyses carried out are focused mainly on presenting the frequencies and percentages of publications with respect to various bibliometric indicators. The results reveal that interest in the issue of DIF has increased, and that the universities are the most productive institutions. The majority of articles have been published in the journal Psicothema.

Los estudios bibliométricos pretenden delimitar la naturaleza y el curso de una disciplina o área científica por medio del recuento y análisis de los diferentes aspectos de la comunicación escrita. Aunque no es hasta los años setenta que en España aparecen los primeros trabajos bibliométricos, ciertamente han experimentado un gran desarrollo en las dos últimas décadas, tanto en este país como en muchos otros. Su interés radica en que permiten ofrecer una visión general de la actividad científica de un país, centro o área, y realizar comparaciones y seguimientos a lo largo del tiempo.

Pese a los fallos o errores cometidos en general por los científicos en la realización de los estudios bibliométricos (Skoie, 1999), en la actualidad la bibliometría está presente en un gran número de disciplinas científicas de temática muy diversa y es considerada de enorme utilidad en el mundo de la investigación y la ciencia en general, ya que supone un eficaz instrumento para una correcta distribución de recursos económicos para la investigación (Zulueta y Bordons, 1999).

Dada la necesidad de evaluar la producción científica en los distintos ámbitos de investigación, con el presente trabajo se pretende realizar un estudio bibliométrico en el área del funcionamiento diferencial de ítem. Con la expresión funcionamiento diferencial del ítem (differential item functioning, DIF) se trata de señalar aquellos ítems cuya probabilidad de acierto difiere, a igual nivel en la variable medida, entre distintos subgrupos de una población determinada. Naturalmente, este funcionamiento diferencial, junto a las implicaciones de carácter ético, social y jurídico que conlleva la utilización de tests, puede infravalorar sistemáticamente las capacidades de ciertos grupos en función de su cultura, etnia, género o cualesquiera otra característica diferenciadora (Fidalgo, 1996).

En este contexto, se pretende proporcionar una visión sobre la producción científica desarrollada en el tema del DIF en revistas editadas en español, comparando las publicaciones halladas sobre este tema en una base de datos española y otra norteamericana.

Metodología

Identificación de los documentos

Para la identificación de los documentos incluidos en este estudio se han utilizado las bases de datos Psicodoc, Science Citation Index (SCI-EXPANDED) y Social Science Citation Index (SSCI) de la Web of Science (WoS).

A la hora de identificar los trabajos se han seguido diversos criterios de inclusión atendiendo a los siguientes aspectos:

a) Terminología. Con el objetivo de abarcar la totalidad de las citas disponibles sobre el DIF, se realizó la búsqueda utilizando la siguiente terminología: «funcionamiento diferencial del ítem», «FDI», «funcionamiento diferencial del test», «FDT», «sesgo de ítem», «sesgo de test», «differential item functioning», «DIF», «differential test functioning», «DTF», «item bias» y «test bias». Posteriormente, se realizó un análisis de contenido de las citas obtenidas con la finalidad de seleccionar sólo aquellas estrictamente relacionadas con el funcionamiento diferencial del ítem.

b) Período de tiempo. Dado que en la base de datos Psicodoc se recogen artículos desde el año 1975, se ha creído conveniente que el período de tiempo analizado comprenda desde este año hasta el 2005, ambos inclusive.

c) Tipo de documento. Teniendo en cuenta la gran diversidad documental sobre el DIF, se ha limitado este trabajo a artículos impresos en revistas. Por ello se han excluido los libros, capítulos, tesis, etc.

Indicadores analizados

Los análisis llevados a cabo en este estudio se centran fundamentalmente en la presentación de frecuencias y porcentajes de publicaciones en relación a diversos indicadores bibliométricos. En primer lugar, y con la finalidad de realizar un estudio de la evolución del número de publicaciones a lo largo del tiempo, se ha codificado el año de publicación para cada uno de los artículos recopilados.

El número de autores que participan en cada artículo, la evolución temporal de éstos y su productividad también han sido evaluados. Para analizar esta última se han registrado todos los firmantes de cada uno de los trabajos; así pues, la productividad de los diversos autores se evalúa en términos de número de participaciones en artículos.

Asimismo, se ha llevado a cabo un estudio de la producción científica por centros, el cual permite distinguir a aquellos con una mayor productividad. Para ello se ha codificado la institución a la cual pertenece cada autor; sin embargo, el recuento se ha realizado de forma parcial, es decir, cuando un solo artículo presenta varios autores de una misma institución, ésta se cuenta de forma única. Así pues, al igual que en el caso de los autores, la productividad de las instituciones se analiza en términos de participación en artículos.

Además cada organización se ha adscrito a su correspondiente país y comunidad autónoma para determinar la productividad de éstos y su evolución temporal. La forma en que se ha procedido en la codificación de esta variable sigue la misma lógica que en el caso de las instituciones.

Finalmente, se ha realizado un estudio de la productividad de las revistas codificando para cada artículo la referencia de la revista donde éste ha sido publicado.

Resultados

Teniendo en cuenta las restricciones señaladas en el apartado anterior, se han recogido 51 artículos en Psicodoc y 26 en la WoS que, excluyendo repeticiones, constituyen un total de 52 trabajos (con * en las referencias). Hay que ser cautelosos con la lectura que puede hacerse de los resultados aquí expuestos, ya que la WoS, a diferencia de Psicodoc, presenta solamente aquellos artículos publicados en revistas con índice de impacto, que en nuestro estudio se limitan a los que aparecen en Psicothema.

Año de publicación

Como se muestra en la figura 1, el número de trabajos realizados por año presentó una tendencia al alza hasta finales del siglo XX, lo que indica que el interés por el tema del DIF fue en aumento con el paso de los años; sin embargo, este interés descendió después del año 2000. Los trabajos del DIF en revistas editadas en español comienzan a publicarse en la década de los noventa, más específicamente en el año 1992. Sin embargo, no es hasta el año 1996 que aparecen en la base de la WoS, un año después de que Psicothema presente índice de impacto.

Pese a las diferencias encontradas entre estas bases de datos, en ambas observamos patrones temporales muy similares, llegando a alcanzar su punto máximo en el año 2000.

Número de autores

Tal y como se puede apreciar en la figura 2, el número de autores que participan en cada artículo oscila entre 1 y 5 en la base Psicodoc (X–= 2.65; DT= 0.93), mientras que en la WoS, éste oscila únicamente entre 1 y 4 (X–= 2.65; DT= 0.63). En el caso de la totalidad de documentos, el número de firmantes por artículo presenta una media de X–= 2.65 y una desviación tipo de DT= 0.93.

Mientras que en Psicodoc la proporción de artículos de 2 y 3 autores es muy similar (37.25% y 43.14%, respectivamente), en WoS aparece un mayor número de artículos de 3 autores (61.54%) respecto al de 2 (30.77%).

Respecto a la evolución del número de firmantes a lo largo del tiempo, desde 1995 hasta 1997 se observa una estabilización en una media de 2 autores, mientras que este número asciende a 3 a finales de siglo, momento en que reaparece cierta variabilidad (figura 3).

Autores

Un total de 43 autores participan en los artículos revisados. Respecto a la productividad de éstos (tabla 1), ambas bases de datos siguen patrones muy distintos. En Psicodoc encontramos autores que colaboran en un total de hasta 13 artículos, mientras que en las bases de la WoS los autores más productivos participan en 6. La discrepancia entre bases puede deberse a la diferencia en el año de aparición del primero de los artículos, que en el caso de la WoS es posterior como consecuencia de fundamentarse en el índice de impacto de las revistas.

Es interesante destacar que más del 50% de los autores participan únicamente en uno o dos artículos, mientras que son escasos los autores que colaboran en 5 o más trabajos (16.28%).

En la tabla 2 se presenta el listado de autores junto el número total de publicaciones realizadas durante el período examinado, del que se han excluido aquellos con menos de 3 participaciones. Destacan grandes productores como M.D. Hidalgo, J. Gómez, P. Elosúa, A. López y J. Muñiz; se muestra también la participación de cada uno de los autores para ambas bases de datos.

Instituciones

Se ha realizado una revisión de las instituciones a las que están vinculados los distintos autores para comprobar cuáles de ellas son más productivas (tabla 3). En particular, el total de 15 instituciones a las que están vinculados los diversos autores son universidades, a excepción de una. Entre ellas destaca la aportación de la Universidad de Murcia, la Universidad de Barcelona, la Universidad de Oviedo, la Universidad del País Vasco y la UNED, dado que cada una de ellas representa más del 15% de la participación total. Es relevante destacar la contribución de una universidad de habla no hispana, a saber la Universidad de Amsterdam, que participa en 3 artículos.

Sin hacer distinciones entre bases de datos, y con el objetivo de definir pautas de colaboración y detectar la existencia de posibles colegios invisibles, se ha realizado un mapa de colaboración científica entre las instituciones que presentan 2 o más trabajos. En la figura 4 se detalla la cantidad de artículos en común que comparten las distintas universidades; el número que aparece junto a la flecha que une a las distintas instituciones hace referencia a los trabajos que comparten ambas instituciones.

La institución que más ha colaborado con otros organismos es la Universidad de Barcelona, la cual ha realizado la totalidad de los trabajos en colaboración con autores de otras universidades, seguida de la Universidad de Oviedo con 7 colaboraciones y la Universidad de Murcia con 6. La universidad que en revistas editadas en español más publica con organizaciones extranjeras vuelve a ser la Universidad de Oviedo, que presenta 3 colaboraciones con una universidad europea y dos con una americana. De las otras instituciones más productivas, la Universidad del País Vasco no realiza trabajos conjuntamente con otras universidades.

Países y comunidades autónomas

España se define como el país más productivo, con una aportación global del 78.85% de los trabajos. A pesar de que hay diversas comunidades autónomas con más de una universidad, en el caso del DIF, tal y como se aprecia en las tablas 3 y 4, existe una correspondencia entre la variable geográfica y la institucional, de forma que la comunidad autónoma de Murcia destaca como la más productiva como consecuencia de la gran aportación de una única organización, la Universidad de Murcia. En un 11.54% de la totalidad de artículos se producen colaboraciones a nivel internacional ya que participan autores de distintos países; sin embargo, éstas se han establecido solamente en dos comunidades, Asturias (Universidad de Oviedo) y Cataluña (Universidad de Barcelona).

En cuanto a su evolución temporal (tabla 5), en general, es a partir de 1996 cuando se produce una mayor aportación desde distintas zonas geográficas. Sin embargo, es Asturias la comunidad que se inicia primeramente en el tema del DIF, seguida de Madrid, que lo hace dos años más tarde. Esta última, por su parte, mantiene prácticamente constante el número de publicaciones durante la década de los noventa. Finalmente, destacar que en el País Vasco, pese a empezar a publicar tardíamente, se observa un aumento notable de producción con el paso de los años. Cabe destacar también la aportación de otros países, entre los que aparecen algunos de Iberoamérica (Colombia y Argentina).

Revistas

Los 52 artículos que han sido analizados en este trabajo se han publicado en 10 revistas. Sin embargo, todos los artículos referenciados en la WoS pertenecen a la revista Psicothema, dado que es la única revista editada en español con índice de impacto que, hasta el momento, se ha interesado por el tema del DIF. Por tanto, tal y como se muestra en la tabla 6, la diversidad de revistas aparece en los artículos hallados en la base de datos Psicodoc.

Puede observarse cómo la revista editada en español que más ha publicado acerca del DIF en la base Psicodoc es también Psicothema, cuya aportación supone un 50.98% del total de publicaciones en esa base de datos. Vuelve a ser esta revista la que, sobre los 52 artículos recopilados, ha publicado un mayor número de documentos, concretamente 27 (51.92%).

Al fijarse en la producción de las revistas a lo largo del tiempo (tabla 7) se puede observar que la primera revista editada en español que publicó un artículo sobre el DIF fue el Anuario de Psicología en 1992, seguida de Psicothema y Psicológica, que lo hicieron en 1994. Con el paso de los años, y sobre todo a partir del año 2000, las revistas implicadas se han ido diversificando hasta llegar a la cantidad de 10.

Discusión

A lo largo de este artículo se ha analizado, en términos de frecuencia de publicaciones, la productividad científica de revistas editadas en español en el tema del DIF. Según los resultados de este estudio, podemos concluir que desde principios de los noventa el interés por el tema del DIF en España ha ido en aumento con el transcurso de los años durante la última década del siglo XX, siendo la única zona de habla hispana en la que se ha trabajado en este tema. Sin embargo, a partir del año 2001 este interés se extiende también a países latinoamericanos.

Con relación a las colaboraciones entre autores encontramos un patrón similar al hallado a escala internacional (Gómez, Hidalgo, Guilera y Moreno, 2005), aunque con una demora de algunos años. En ambos casos las colaboraciones tienden a estabilizarse en una participación de 2 o 3 autores; sin embargo, a nivel internacional esta estabilización se produce a inicios de los años noventa, mientras que en el caso de las revistas editadas en español se presenta a finales de esta misma década y hasta el año 2003. Esta estabilización a 2 o 3 autores parece ser una tendencia general en ésta y muchas otras áreas de conocimiento (Agudelo, Bretón-López y Buela-Casal, 2003; Alcain y Carpintero, 2001; Moreno y Sánchez, 1998).

En cuanto a la productividad de los autores, señalar que gran cantidad de ellos participan de forma esporádica en la investigación sobre el DIF, mientras que son escasos los autores que podrían considerarse grandes productores. Ello es bastante usual en cualquier área que se haya analizado bibliométricamente.

Institucionalmente hablando, las universidades son las organizaciones que de forma casi exclusiva se han dedicado al trabajo del DIF. En las universidades con más actividad (Murcia, Barcelona, Oviedo, País Vasco y UNED) se hallan también los autores más productivos, coincidiendo casi totalmente las aportaciones de éstos con las contribuciones institucionales. Curiosamente, en un estudio bibliométrico sobre el DIF a escala internacional (Gómez, Hidalgo, Guilera y Moreno, 2005), es también la Universidad de Oviedo quien aparece entre las instituciones más productivas a nivel internacional, coincidiendo con que, en el presente estudio, es de las pocas universidades españolas que presenta colaboraciones internacionales.

A nivel geográfico hallamos una total correspondencia con los resultados presentados en el análisis institucional. En España el trabajo en DIF se inició en Asturias y Madrid, no obstante en la segunda mitad de la década de los noventa son Murcia y Cataluña las comunidades en las que más se ha desarrollado la investigación en el ámbito que nos ocupa. En América Latina aparecen los primeros documentos sobre el DIF en el año 2001.

Aunque Psicothema publica trabajos de todos los ámbitos de la psicología, dedica un 32% de los artículos a aspectos metodológicos (Buela-Casal, Carretero-Dios y De los Santos-Roig, 2002) por lo que no es de extrañar que esta revista destaque, en el presente estudio, con un alto porcentaje como la más prolífica en los trabajos de DIF. Este hecho está sin duda relacionado con que es precisamente Psicothema la revista que ha sido valorada por los pares entre las mejores en todas las áreas de conocimiento pertenecientes a Psicología (Alcain y Román, 2005). En sus respectivos estudios bibliométricos, por un lado, Buela-Casal, Carretero-Dios y de los Santos-Roig (2002) también constatan que Psicothema es la revista más consolidada, en función de diversos índices bibliométricos, de entre las revistas editadas en castellano con índice de impacto; y, por otro lado, Musi-Lechuga, Olivas-Ávil, Portillo-Reyes y Villalobos-Galvis (2005) concluyen que, de entre todos los profesores españoles del área de Metodología de las Ciencias del Comportamiento (área en la que preferentemente se encuadra el DIF), esta revista es la más elegida para publicar sus trabajos.

Pese al gran desarrollo que ha realizado la investigación sobre el DIF en revistas editadas en español durante el período de tiempo analizado, la visibilidad de ésta es escasa, ya que solamente los artículos publicados en Psicothema figuran en las bases de datos de la WoS. A este dato se une la escasa cooperación con autores de otros países, quizá como consecuencia de ciertos hábitos de investigación o de cuestiones relacionadas con el idioma. En cualquier caso, se tendría que promover de algún modo una mayor proyección de las revistas editadas en español a nivel internacional y aumentar así la visibilidad de nuestras revistas, con la finalidad última de garantizar la difusión de sus contenidos científicos.

En definitiva, hemos presentado en las páginas precedentes una revisión de algunas de las múltiples variables que delinean el ámbito de estudio del DIF en revistas editadas en español.

Agradecimientos

Este estudio ha sido subvencionado por el «Departament d’Universitats, Recerca i Societat de la Informació de la Generalitat de Catalunya» (2005FIR 00277 y 2005SGR00365) y por el «Ministerio de Ciencia y Tecnología de España» (SEJ2005-09144-C02-02).

Agudelo, D., Bretón-López, J., y Buela-Casal, G. (2003). Análisis bibliométrico de las revistas de Psicología clínica editadas en castellano. Psicothema, 15(4), 507-516.

*Aguerri, M.E., Galibert, M.S., Zanelli, M.L., y Attorresi, H.F. (2005). Detección errónea del funcionamiento diferencial del ítem. Una comparación de métodos. Psicothema, 17(2), 350-355.

*Aguerri, M.E., Zanelli, M.L., Galibert, M.S., y Attorresi, H.F. (2002). Evaluación de un método empírico para detectar el funcionamiento diferencial del ítem. Interdisciplinaria, 19(2), 185-203.

Alcain, M.D., y Carpintero, H. (2001). La Psicología en España a través de las revistas internacionales: 1981-1999. Papeles del Psicólogo, 78, 11-20.

Alcain, M.D., y Román, A. (2005). Hacia una valoración integrada de las revistas españolas de ciencias sociales y humanas: las revistas de Psicología. Psicothema, 17(2), 179-189.

*Attorresi, H.F., Galibert, M.S., Zanelli, M.L., Lozzia, G.S., y Aguerri, M.E. (2003). Error de Tipo I en el análisis del funcionamiento diferencial del ítem basado en la diferencia de los parámetros de dificultad. Psicológica: Revista de Metodología y Psicología Experimental, 24(2), 289-306.

*Barbero, M.I., y Prieto, P. (1997). Evaluación del rendimiento en ciencias de los niños y niñas de 13 años de las distintas comunidades autónomas: impacto o sesgo. Psicothema, 9(2), 323-332.

*Barbero, M.I., Prieto, P., y San Luis, C. (2000). Procedimiento para la detección del FDI tanto en ítems politómicos como dicotómicos. Psicothema, 12(Supl. 2), 69-73.

Buela-Casal, G., Carretero-Dios, H., y De los Santos-Roig, M. (2002). Estudio comparativo de las revistas de Psicología en castellano con factor de impacto. Psicothema, 14(4), 837-852.

*Burger, G.K. (2004). Using person factors in social science research. Interdisciplinaria, Extr., 35-48.

*Elosúa, P. (2003). Sobre la validez de los tests. Psicothema, 15(2), 315-321.

*Elosúa, P., y López, A. (1999). Funcionamiento diferencial de los ítems y sesgo en la adaptación de dos pruebas verbales. Psicológica: Revista de Metodología y Psicología Experimental, 20(1), 23-40.

*Elosúa, P., y López, A. (2005). Clases latentes y funcionamiento diferencial del ítem. Psicothema, 17(3), 516-521.

*Elosúa, P., López, A., y Egaña, J. (2000). Idioma de aplicación y rendimiento en una prueba de comprensión verbal. Psicothema, 12(2), 201-206.

*Elosúa, P., López, A., y Egaña, J. (2000). Fuentes potenciales de sesgo en una prueba de aptitud numérica. Psicothema, 12(3), 376-382.

*Elosúa, P., López, A., Egaña, J., Artamendi, J.A., y Yenes, F. (2000). Funcionamiento diferencial de los ítems en la aplicación de pruebas psicológicas en entornos bilingües. Metodología de las Ciencias del Comportamiento, 2(1), 17-33.

*Elosúa, P., López, A., y Torres, E. (1999). Adaptación al euskera de una prueba de inteligencia verbal. Psicothema, 11(1), 151-161.

*Elosúa, P., López, A., y Torres, E. (2000). Desarrollos didácticos y funcionamiento diferencial de los ítems. Problemas inherentes a toda investigación empírica sobre sesgo. Psicothema, 12 (Supl. 2), 198-202.

*Ferreres, D., Fidalgo, A.M., y Muñiz, J. (2000). Detección del funcionamiento diferencial de los ítems no uniforme: comparación de los métodos Mantel-Haenszel y regresión logística. Psicothema, 12 (Supl. 2), 220-225.

*Ferreres, D., González-Romá, V., y Gómez, J. (2000). Comparación del estadístico Mantel-Haenszel y la regresión logística en el funcionamiento diferencial de los ítems en dos pruebas de aptitud intelectual. Psicothema, 12 (Supl. 2), 214-219.

*Ferreres, D., González-Romá, V., y Gómez, J. (2002). Funcionamiento diferencial de los ítems en una situación de contacto de lenguas. Psicothema, 14(2), 483-490.

Fidalgo, A.M. (1996). Funcionamiento diferencial de los ítems. En J. Muñiz (Coord.): Psicometría (pp. 371-455). Madrid: Universitas.

*Fidalgo, A.M., y Ferreres, D. (2002). Supuestos y consideraciones en los estudios empíricos sobre el funcionamiento diferencial de los ítems. Psicothema, 14(2), 491-496.

*Fidalgo, A.M., Mellenbergh, G.J., y Muñiz, J. (1998). Comparación del procedimiento Mantel-Haenszel frente a los modelos loglineales en la detección del funcionamiento diferencial de los ítems. Psicothema, 10(1), 481-490.

*Fidalgo, A.M., Mellenbergh, G.J., y Muñiz, J. (2000). Identification of nonuniform differential item functioning using a variation of the Mantel-Haenszel procedure and the iterative logit method. Revista Electrónica de Metodología Aplicada, 5(1), 10-20.

*Fidalgo, A.M., y Muñiz, J. (2002). Investigaciones actuales sobre el funcionamiento diferencial de los ítems. Metodología de las Ciencias del Comportamiento, 4(1), 55-66.

*Fidalgo, A.M., Muñiz, J., y Mellenbergh, G.J. (1999). Aplicación en una etapa, dos etapas e iterativamente de los estadísticos Mantel-Haenszel. Psicológica: Revista de Metodología y Psicología Experimental, 20(3), 227-242.

*Fidalgo, A., y Paz, M.D. (1995). Modelos lineales logarítmicos y funcionamiento diferencial de los ítems. Anuario de Psicología, 64, 57-66.

*Gómez, J., e Hidalgo, M.D. (1997). Evaluación del funcionamiento diferencial en ítems dicotómicos: una revisión metodológica. Anuario de Psicología, 74, 3-32.

*Gómez, J., Hidalgo, M.D., y Guilera, G. (2005). Introducción al funcionamiento diferencial del ítem. Psicologia.com: Revista Electrónica de Psicología, 9(2).

Gómez, J., Hidalgo, M.D., Guilera, G., y Moreno, M. (2005). A bibliometric study of differential item functioning. Scientometrics, 64(1), 3-16.

*Gómez, J., Hidalgo, M.D., y Tomás-Sábado, J. (2002). Análisis del funcionamiento diferencial de los ítems de la Escala de Ansiedad ante la muerte de Templer. Metodología de las Ciencias del Comportamiento, 4(1), 95-110.

*Gómez, J., y Navas, M.J. (1996). Detección del funcionamiento diferencial de los ítems mediante regresión logística: purificación paso a paso de la habilidad. Psicológica: Revista de Metodología y Psicología Experimental, 17(2), 397-411.

*Gómez, J., y Navas, M.J. (1998). Impacto y funcionamiento diferencial de los ítems respecto al género en una prueba de aptitud numérica. Psicothema, 10(3), 685-696.

*Hernández, A., y González-Romá, V. (2003). Evaluating the multiple-group mean and covariance structure analysis model for the detection of differential item functioning in polytomous ordered items. Psicothema, 15(2), 322-327.

*Herrera, A.N., Sánchez, R., y Gómez, J. (2001). Funcionamiento diferencial de los ítems: una revisión conceptual y metodológica. Acta Colombiana de Psicología, 5, 41-61.

*Hidalgo, M.D., Galindo, F., Inglés, C.J., Campoy, G., y Ortiz, B. (1999). Estudio del funcionamiento diferencial de los ítems en una Escala de Habilidades Sociales para Adolescentes. Anales de Psicología, 15(2), 331-343.

*Hidalgo, M.D., y Gómez, J. (1999). Técnicas de detección de funcionamiento diferencial en ítems politómicos. Metodología de las Ciencias del Comportamiento, 1(1), 39-60.

*Hidalgo, M.D., y Gómez, J. (2000). Comparación de la eficacia de regresión logística politómica y análisis discriminante logístico en la detección del DIF no uniforme. Psicothema, 12 (Supl. 2), 298-300.

*Hidalgo, M.D., Gómez, J., y Padilla, J.L. (2005). Regresión logística: alternativas de análisis en la detección del funcionamiento diferencial del ítem. Psicothema, 17(3), 509-515.

*Hidalgo, M.D., Inglés, C.J., y Méndez, F.X. (2001). Funcionamiento diferencial del ítem en el cuestionario de confianza para hablar en público. Revista de Psicología General y Aplicada, 54(4), 619-634.

*Hidalgo, M.D., y López-Pina, J.A. (1997). Comparación entre las medidas de área, el estadístico de Lord y el análisis de regresión logística en la evaluación del funcionamiento de los ítems. Psicothema, 9(2), 417-431.

*Hidalgo, M.D., y López-Pina, J.A. (1997). Evaluación del funcionamiento diferencial en ítems politómicos mediante el estadístico de Lord y las medidas de área. Psicológica: Revista de Metodología y Psicología Experimental, 18(1), 69-92.

*Hidalgo, M.D., y López-Pina, J.A. (2000). Funcionamiento diferencial de los ítems: presente y perspectivas de futuro. Metodología de las Ciencias del Comportamiento, 2(2), 167-182.

*López, A., y Elosúa, P. (2002). Análisis de contenido y funcionamiento diferencial en una prueba de aptitud numérica. Revista de Psicología General y Aplicada, 55(3), 349-362.

*Lozzia, G.S., Galibert, M.S., Aguerri, M.E., y Attorresi, H.F. (2005). Construcción de un banco de ítems de razonamiento verbal. Interdisciplinaria, 22(1), 5-27.

*Martínez-Cardeñoso, J., García-Cueto, E., y Muñiz, J. (2000). Efecto del entrenamiento sobre las propiedades psicométricas de los tests. Psicothema, 12 (Supl. 2), 358-362.

Moreno, S., y Sánchez, A. (1998). Análisis bibliométrico de la revista Psicothema (1989-1997). Psicothema, 10(1), 23-27.

*Muñiz, J., y Hambleton, R.K. (2000). Adaptación de los tests de unas culturas a otras. Metodología de las Ciencias del Comportamiento, 2(2), 129-149.

*Muñiz, J., y Hambleton, R.K. (2000). Medio siglo de Teoría de Respuesta a los ítems. Anuario de Psicología, 52, 41-66.

Musi-Lechuga, B., Olivas-Ávila, J.A., Portillo-Reyes, V., y Villalobos-Galvis, F. (2005). Producción de los profesores funcionarios de Psicología en España en artículos de revistas con factor de impacto en la Web of Science. Psicothema, 17(4), 539-548.

*Navas, M.J. (1994). Teoría clásica de los tests versus teoría de respuesta al ítem. Psicológica: Revista de Metodología y Psicología Experimental, 15(2), 175-208.

*Navas, M.J. (1994). Utilización del análisis factorial y medidas del área como métodos en la detección de sesgo. Psicothema, 6(3), 493-501.

*Núñez, R.M., Hidalgo, M.D., y López-Pina, J.A. (2000). Comparación de dos procedimientos de purificación del test para la evaluación del FDI con el estadístico de Lord y con las medidas de área de Raju. Psicothema, 12 (Supl. 2), 399-402.

*Núñez, R.M., Hidalgo, M.D., y López-Pina, J.A. (2000). Influencia de la igualación iterativa en la detección del funcionamiento diferencial del ítem mediante las medidas de área de Raju y estadístico de Lord. Psicothema, 12(3), 495-502.

*Padilla, J.L., González, A., y Pérez, C. (1998). Diferencias instruccionales y funcionamiento diferencial de los ítems: acuerdo entre el método Mantel-Haenszel y la regresión logística. Psicológica: Revista de Metodología y Psicología Experimental, 19(3), 201-215.

*Padilla, J.L., Pérez, C., y González, A. (1998). La explicación del sesgo en los ítems de rendimiento. Psicothema, 10(2), 481-490.

*Prieto, P., y Barbero, M.I. (1996). Detección de funcionamiento diferencial de los ítems mediante análisis de residuales: una aplicación de la TRI. Psicothema, 8(1), 173-180.

*Prieto, P., Barbero, M.I., y San Luis, C. (1999). Detección del funcionamiento diferencial de los ítems en una prueba de ciencias. Psicothema, 11(3), 691-687.

Skoie, H. (1999). Bibliometrics - Some warnings from the north. Scientometrics, 45(3), 433-437.

*Tomás, I., González-Romá, V., y Gómez, J. (2000). Teoría de respuesta al ítem y análisis factorial confirmatorio: dos métodos para analizar la equivalencia psicométrica en la traducción de cuestionarios. Psicothema, 12 (Supl. 2), 540-544.

Zulueta, M.A., y Bordons, M. (1999). La producción científica española en el área cardiovascular a través del Science Citation Index (1990-1996). Revista Española de Cardiología, 52(10), 751-764.