Psicothema, 2006. Vol. Vol. 18 (nº 1). 160-164

Manuel Pelegrina y Ricardo Tejeiro

En esta investigación aplicamos parámetros ROC y z-ROC en memoria de reconocimiento de palabras, clasificadas según su frecuencia y clase. Esto permite utilizar técnicas no sesgadas en la evaluación de aciertos y falsas alarmas y obtener distribuciones estandarizadas para cada condición experimental. Los resultados confirman diferencias en memoria de reconocimiento debidas al tiempo de exposición experimental, al tipo de palabra y a otros efectos preexperimentales. Estos datos son consistentes con los modelos de familiaridad y recuerdo («recollection») cuando utilizamos la frecuencia de uso de las palabras y con los modelos de familiaridad, recuerdo y doble ruta cuando utilizamos palabras organizadas según su clase. Por último, se argumenta a favor de un modelo de procesamiento interactivo (palabras organizadas según su frecuencia) versus un modelo de procesamiento más cercano a la modularidad (palabras organizadas según su clase).

ROC and z-ROC parameters in word memory: experimental and pre-experimental effects. In this study, ROC and z-ROC parameters are applied in word recognition memory, with words classified according to frequency and class. In doing so, unbiased techniques can be used to assess hits and false alarms and to obtain standardized distributions for each experimental condition. Our results confirm the existence of differences in word recognition memory for experimental exposition time, type of words and other pre-experimental effects. These data are consistent with familiarity and recollection models when words’ frequency is used, and with familiarity, recollection and dual-route models when words are organized according to class. Finally, we argue in favour of an interactive processing model (words organized according to frequency) versus a processing model nearer to modularity (words organized according to class).

Un procedimiento muy común en el pasado ha consistido en utilizar palabras como estímulos en la investigación experimental en Psicología. Con este fin, las palabras se han clasificado en función de su frecuencia y clase. La clasificación en función de su frecuencia de uso, frecuencia alta (FA) y frecuencia baja (FB), se ha utilizado más en un contexto experimental. La diferencia en el procesamiento de ambos grupos de palabras ha quedado bien demostrada. La clasificación de las palabras en función de su clase, clase abierta (CA) y clase cerrada (CC), y sus diferencias en el procesamiento, también se ha constatado, aunque se ha investigado de una forma especial en el campo de la psicolingüística.

Es nuestra intención en este trabajo comparar si en el procesamiento de las palabras la frecuencia influye en la clase, asumiendo como supuesto previo que hay mayor exposición preexperimental en palabras de FA que en palabras de FB (Arndt y Reder, 2002), y más intensidad preexperimental asociada a las palabras de CA que de CC.

La atención al procesamiento de palabras organizadas según su clase se inicia en 1970. Los estudios se centran en el agramatismo asociado con la afasia de Broca. A partir de estos estudios preliminares se asumió un modelo de almacenamiento y acceso diferencial en palabras de CA y CC (v.g., Bradley, 1978; Biassou, Obler, Nespoulous Dordain y Harris, 1997). Estos estudios, además, asumen que hay diferentes conjuntos de vocabulario en el léxico mental, y que su procesamiento es computacionalmente distinto (Biassou et al, 1997). Esto es lo que se ha denominado como hipótesis de la doble ruta.

Los resultados del trabajo de Bradley (1978), quien utilizó una tarea de reconocimiento, muestran que en personas no afásicas las palabras de CA dependen de su frecuencia de uso, mientras que las palabras de CC no presentan esta restricción. Sin embargo, para las personas afásicas afectadas por el agramatismo de Broca, el reconocimiento de palabras de CA y CC está igualmente afectado por la frecuencia de uso.

Una réplica de la hipótesis anterior realizada por Gordon y Caramazza (1983) dio como resultado que para ambos grupos de personas, sin y con afasia de Broca, el procesamiento de las palabras de CA y CC depende de su frecuencia. Réplicas posteriores, incluyendo otros idiomas (entre ellos el español), no han confirmado tales resultados. Es más, sólo se acepta la hipótesis de Bradley si no se incluyen aspectos relativos a la frecuencia. En este caso se confirma una diferenciación entre personas afásicas de Broca y personas sin afasia, en el sentido de que una CC de elementos puede ser diferencialmente activada en el procesamiento de sentencias (Friederici, 1985). También se ha admitido en el procesamiento de textos que para las personas agramáticas es más probable omitir o sustituir palabras de CC que de CA (Biassou et al, 1997; Nespoulos, Dordain, Perron, Ska, Bub, Caplan, Mehler y Lecours, 1988).

Por otra parte, el hecho de que las palabras de FA se discriminen peor que las palabras de FB da lugar a suponer desde el punto de vista teórico que existen al menos dos procesos en evidencia, ya que el efecto de frecuencia produce una proporción de falsas alarmas diferente en ambos tipos de palabras. Este posible resultado se ha asociado con el denominado efecto espejo (Algarabel, Gotor y Pitarque, 2003), un efecto más general que el de frecuencia (Arndt y Reder, 2002; Steyvers y Malmberg, 2003). Pero también se ha asociado con la hipótesis de una mayor exposición preexperimental en las palabras de FA, aspecto que consideramos especialmente en este trabajo.

Respecto a la clase, se parte de la hipótesis de la aceptación de un modelo de dos procesos en el reconocimiento de palabras de CA y CC, asumiendo que las palabras de CA se discriminarán mejor que las palabras de CC. Esta diferencia se ha explicado por la hipótesis de la doble ruta de procesamiento (Biassou et al, 1997), hipótesis que asumimos se acepte paralelamente a la familiaridad y recuerdo.

Considerando lo anterior, el objetivo metodológico de esta investigación consiste en comparar parámetros ROC y z-ROC: valores d’, ordenada en el origen, pendiente y constante cuadrática, para observar la diferencia entre modelos de igual varianza, basados en la teoría de la detección de señales (TDS) (véase ejemplo en McClelland y Chappel, 1998), y los modelos de doble varianza, basados en los modelos de umbral (v.g., Yonelinas, 1994,1999). Estos objetivos metodológicos nos permiten profundizar en contenidos de carácter sustantivo consistentes en controlar el sesgo de las falsas alarmas, considerar la clase y la frecuencia de uso de las palabras, así como el control a priori de la frecuencia tanto en CC como en la CA, comprobar el efecto espejo y ver el alcance de los modelos de proceso único versus doble proceso, así como el carácter interactivo o modular del procesamiento de palabras.

Experimento 1

Método

Participantes

Setenta estudiantes de Psicología (27 hombres y 43 mujeres), entre 18 y 24 años (M= 20.37; DT= 1.15).

Material y aparatos

Se utilizaron 80 palabras, de las cuales 40 eran señal y 40 ruido. Estaban escritas en Times New Roman, tamaño 12. La presentación de los estímulos se realizó mediante un taquistoscopio Gerbrand de 4 campos, modelo T4A. Para obtener la frecuencia de uso de las palabras se obtuvo la media entre los diccionarios de Juilland y Chang-Rodríguez (1964) y Alameda y Cuetos (1995), ya que la media de dos medidas de un mismo objeto representa una estimación más precisa que cada una por separado. Todas las palabras eran bisílabas y tenían entre tres y cinco letras y no se repetían en condiciones experimentales diferentes. El rango de frecuencia oscilaba entre 28 y 3188.5 en las palabras de CC y el punto de corte entre frecuencia alta y baja se situó en 649. El rango de frecuencia en palabras de CA oscilaba entre 24 y 478 y el punto de corte entre frecuencia alta y baja se situó en 48. Es necesario añadir aquí que Münte, Wieringa, Veyerts, Szentkutti, Matzke y Johannes (2001, p. 93), en un estudio similar en lengua alemana, clasifican las palabras de CC en cuatro niveles de frecuencia cuyas medias son: frecuencia muy alta: 21946, alta 2892, media 689 y baja 42. La misma clasificación en palabras de CA resulta con una media en frecuencia alta de: 1760, frecuencia media 549 y baja 9.4. Estos autores utilizan técnicas de control de las falsas alarmas para corregir los efectos de frecuencia y en nuestro caso, como explicaremos en su momento, aplicamos la probabilidad a priori para corregir los mismos efectos.

Procedimiento

Se aplicó un paradigma de discriminación en memoria de reconocimiento basado en la TDS con respuestas «sí-no» más escala de estimación de entre 1 y 5 puntos. La tarea consistió en la lectura por parte de cada participante de la lista de palabras presentadas en el taquistoscopio. El orden de presentación fue aleatorio para cada participante. Posteriormente, se presentó una nueva lista de palabras en la que se mezclaron (de forma aleatoria) las 40 palabras ya leídas con otras 40 nuevas. La tarea consistió en reconocer cuáles de esas palabras fueron presentadas anteriormente, debiendo el participante responder «sí» en caso afirmativo y «no» en caso negativo. A la respuesta anterior, el participante había de añadir un valor de 1 a 5, en el que 5 indicaba la mayor seguridad en la respuesta y 1 la menor seguridad. Antes de comenzar la prueba se realizó un ejercicio práctico hasta que los participantes realizaron la tarea correctamente. Las palabras fueron presentadas inscritas en el centro de una tarjeta de 10x15 cm. La duración de la exposición fue de 250 msegs para cada palabra.

El planteamiento anterior dio lugar a un diseño 2x2x5. Dos niveles de clase, CA y CC, dos niveles de frecuencia, FA y FB, y cinco niveles correspondientes a la escala de estimación: EE1, EE2, EE3, EE4 y EE5.

Resultados

La comparación entre las frecuencias alta y baja de las palabras fue estadísticamente significativa para los niveles de la escala de estimación EE3: F(1, 76)= 4.23, p= 0.04, y EE 4, F(1,76)= 7.006, p= 0.01.La comparación entre clases abierta y cerrada permitió obtener datos estadísticamente significativos en los niveles de la EE 1, F(1, 76)= 7.324, p= 0.008, EE 2, F(1, 76)= 24.36, p= 0.0001 y EE 4, F(1, 76)= 29.5, p= 0.0001. No hubo interacción entre clase y frecuencia en ninguno de los niveles de la escala de estimación. Los datos que permiten obtener los parámetros de las curvas ROC y z-ROC se observan en la tabla 1.

Discusión

A partir de los resultados anteriores podemos calcular y valorar el significado de los parámetros ROC y z-ROC. Así, el efecto espejo se observa en la disminución de las falsas alarmas en la FB del intervalo 4 (0.50) respecto a las falsas alarmas de la FA (0.68), y en que la FB puntúa con d’= 1.75 y la FA con d’= 1.08. La misma tendencia se observa en los aciertos entre FB (0.96) respecto a los aciertos en FA (0.94), aunque sus valores son próximos. Sin embargo, en relación a las palabras de CC y CA no se observa el efecto espejo en ningún intervalo, por el contrario, la relación entre aciertos y falsas alarmas se invierte (EE 4 de la tabla 1). Por otra parte, las diferencias en d’ permiten afirmar que las palabras de FB y CA se discriminan mejor que las palabras de FA y CC.

La ordenada en el origen representa también un índice de discriminación en memoria de reconocimiento, a mayor valor en la medida, mayor discriminación (v.g., Glanzer, Kim, Hilford y Adams (1999). Sus valores han resultado ser 0.33 en FA y 0.35 en FB, 0.45 en CA y 0.39 en CC. Los valores de la pendiente deberían presentar una tendencia inversa en relación a los valores de la ordenada en el origen: valores más bajos indicarían una discriminación mayor. Sin embargo, estos datos han resultado ser diferentes entre sí y poco consistentes.

Respecto al componente cuadrático, aparece una cierta heterogeneidad entre los distintos grupos de palabras sin una tendencia clara de los datos. Así, los valores ROC de las constantes cuadráticas son los siguientes: FA= -1.80, FB= 3.91, CA= 4.85 y CC= 5.43. Mientras que los parámetros z-ROC para los mismos valores son: FA: -0.008; FB: 1.63; CA: 2.23 y CC: 1.009. Los parámetros ROC predicen constantes cuadráticas negativas (convexas), mientras que los z-ROC predicen distribuciones con constantes cuadráticas positivas (cóncavas) según el modelo propuesto por Yonelinas (1994, 1999), véase también, por ejemplo, Macmiland, Rotello y Verde (2003). No obstante, las constantes cuadráticas obtenidas en este experimento no se ajustan al modelo, ya que muestran irregularidades en la distribución. Éstas podrían deberse a que la discriminación en memoria semántica, tal y como el modelo indica, no ha intervenido. Esto puede deberse posiblemente al poco tiempo de exposición de cada palabra (250 msegs).

Como observamos en el apartado de resultados, los datos muestran diferencias estadísticamente significativas en discriminación en memoria de reconocimiento. En relación a la frecuencia, sólo dos niveles de la escala (niveles 3 y 4) son significativos. Respecto a la clase de palabras, resultan significativos los intervalos de confianza 1, 2 y 4. Por consiguiente, se puede asumir que hay un efecto de clase en los niveles citados. Todo ello es consistente con dos formas relevantes de procesamiento: en primer lugar, el debido al efecto de la frecuencia, y, en segundo lugar, el denominado de doble ruta en relación a la clase. Los índices presentados anteriormente proporcionan valores importantes sobre las diferencias absolutas entre las distintas condiciones. Asimismo, indicarían que en la discriminación de ambos tipos de palabras, FB y CA, se da un modelo basado en el umbral alto o de doble varianza, mientras que los datos z-ROC correspondientes a las FA responden al modelo de familiaridad. Por otra parte, la CC representa valores distintos, en consonancia con la hipótesis de que tales palabras se discriminan de manera diferente a las anteriores.

En el experimento 1 hemos obtenido una cierta heterogeneidad en la distribución de los datos (tabla 1). Ello puede ser debido, como hemos indicado anteriormente, a que el tiempo de exposición del estímulo ha sido corto, 250 msegs, y la lista de palabras era relativamente larga, lo cual no ha permitido que el participante organice la información en memoria para una adecuada discriminación posterior. En otras palabras, posiblemente se ha producido un cierto efecto de «suelo». A pesar de ello algunos índices han sido consistentes con nuestras hipótesis de partida, pero no ha sido así respecto a las constantes cuadráticas de ROC y z-ROC, por lo que no podemos hablar de distribuciones homogéneas de los datos.

Mediante un nuevo experimento pretendemos obtener resultados más plausibles de acuerdo con nuestras hipótesis, especialmente en las constantes cuadráticas. Para ello es necesario incrementar el tiempo de exposición del estímulo, con lo cual aumentarán los valores de la ordenada en el origen, disminuirán los de la pendiente (en caso de obtener ajustes lineales), se incrementarán los umbrales en memoria, los parámetros ROC producirán valores negativos de las constantes cuadráticas, y las z-ROC producirán constantes cuadráticas positivas, de acuerdo con las predicciones de los modelos citados.

Experimento 2

Método

Participantes

Participaron 71 estudiantes de Psicología (47 mujeres y 24 hombres), de edades comprendidas entre 18 y 19 años (M= 18.71; DT= 0.76).

Material

Se utilizó el mismo material y aparatos que en el experimento 1.

Procedimiento

Se aplicó el mismo procedimiento que en el experimento 1, salvo que el tiempo de exposición se incrementó en 200 msegs por palabra, por lo que cada palabra permaneció 450 msegs en pantalla.

Resultados

La comparación entre FA y FB de palabras resultó estadísticamente significativa en los siguientes niveles de la escala de estimación: EE3: F(1, 76)= 4.16, p= 0.045; EE4: F(1, 76)= 9.01, p= 0.004; EE5: F(1, 76)= 9.64, p= 0.003. La comparación de las palabras de CA y CC mediante la escala de estimación ofreció los resultados siguientes, EE1: F(1, 76)= 4.36, p= 0.04; EE2: F(1, 76)= 10.81, p= 0.002; EE3: F(1, 76)= 20.08, p= 0.0001; EE4: F(1, 76)= 21.61, p= 0.0001; EE5: F(1, 76)= 30.39, p= 0.0001. Los datos correspondientes a los parámetros ROC se presentan en la tabla 2.

Discusión

Al igual que en la tabla 1, el análisis de la tabla 2 permite obtener ciertos parámetros ROC enormemente interesantes. En efecto, se observa el efecto espejo en una disminución de las falsas alarmas de la FB en el intervalo 3 (0.21) con respecto a las falsas alarmas de la FA (0.26), así como la misma tendencia en los aciertos en FB (0.79) respecto a los aciertos en FA (0.67). Sin embargo, en relación a las palabras de CC y CA obtenemos el doble de falsas alarmas aproximadamente en las primeras que las segundas en todos los intervalos de la EE. La tendencia de los aciertos es la misma que en el experimento 1, pero en relación a las falsas alarmas la relación se invierte, por lo que no se observa el efecto espejo. Por otra parte, la discriminación mediante d’ sigue el siguiente orden, de mayor a menor: CA= 2.00; FB= 1.86; FA= 1.70 y CC= 1.60. Se observa, pues, en este parámetro el mismo orden que en el experimento 1, aunque en el experimento 2 se da un cierto incremento de los valores d’, salvo en la CA (que permanece constante).

Con respecto a la pendiente, hemos observado que hay diferencias entre frecuencia y clase, y dentro de ambas entre FA y FB y entre CA y CC. Todo lo anterior nos permite admitir que la CA y la CC son dos grupos de palabras que se procesan de forma independiente.

De acuerdo con el valor de la ordenada en el origen, observamos una mayor discriminación en FB (1.96), seguida de la CA (1.80), después en CC (1.18) y, finalmente, en FA (1.09). Estos valores, a diferencia de los valores d’, son bastante más altos que en el experimento 1. Ello es debido a que d’ hace referencia a la diagonal negativa, a diferencia de la ordenada en el origen. Su crecimiento o decrecimiento sería proporcional en distribuciones estandarizadas, lo que no es el caso en el primer experimento, dados los valores de las constantes cuadráticas.

En cualquier caso, sí podemos afirmar que las palabras de CC y CA están afectadas por la frecuencia de acuerdo con Gordon y Caramazza (1983). El sentido de esta diferencia consiste en que las palabras de CC mejoran su discriminación al bajar la frecuencia, y las palabras de CA empeoran en discriminación al aumentar su frecuencia.

Los parámetros ROC obtenidos son consistentes con las hipótesis propuestas.

Así, los valores de las constantes cuadráticas son los siguientes: FA= -0.004; FB= -4.55; CA= -18.71 y CC= -2.42. Respecto a z-ROC los mismos valores son: FA= 0.73; FB= 0.14; CA= 1.02 y CC= 0.63. Comparando estos datos con el modelo propuesto por Yonelinas (1999), podemos asumir que se dan procesos de recuerdo en CA y FB en ambos experimentos, y procesos de familiaridad en palabras de FA y CC en el experimento 1. Pero cuando se incrementa el tiempo de exposición en el segundo experimento, todas las tendencias alcanzan valores cuadráticos negativos respecto a los datos ROC, y valores cuadráticos positivos en z-ROC, a la vez que se obtiene un mayor o menor valor en las constantes cuadráticas para cada condición experimental. Ello es consistente con nuestras hipótesis iniciales. Por ello, se acepta que con un tiempo de estudio adecuado (cercano al medio segundo por palabra) obtenemos la confirmación de los modelos propuestos en todas sus dimensiones.

Otra cuestión a considerar, como ya propusimos en la introducción y en el procedimiento, se refiere al control de los efectos posibles de la frecuencia a priori de las palabras clasificadas en función de su clase. En efecto, la media de la frecuencia de uso de las palabras de FA era 4,5 veces superior a la media de las de FB. De forma similar, la media de la frecuencia de palabras de CC era 7,2 veces mayor que las de CA. Dado que la FA de las palabras se discrimina siempre peor, entonces, según la probabilidad a priori, las palabras de CC se discriminarían siempre peor por esta razón. Sin embargo, observamos que la diferencia entre el procesamiento de ambos tipos de palabras no excede nunca en nuestros datos de 0,34, lo cual, junto con los parámetros y el diseño en general, no explica por sí mismo las diferencias entre frecuencia y clase. Este tema es además muy amplio y complejo y se refiere a la categorización del lenguaje (véase, por ejemplo, Pelegrina, Ruiz-Soler, López y Wallace (2000); y Pelegrina, Salvador y Ortiz (2000).

Sobre los efectos de la exposición experimental o preexperimental observamos un efecto de mayor intensidad de la exposición (efecto del tipo de palabra) medido mediante la ordenada en el origen: CA= 0.45, FB= 0.35 y CC= 0.39, mientras que las palabras con más exposición preexperimental tienen una discriminación menor, FA= 0.33. En el segundo experimento hay un mayor efecto de la exposición experimental: CA= 1.80 FB= 1.96 y CC= 1.18, mientras que las palabras con una mayor exposición preexperimental tienen menor discriminación en el experimento 2: FA= 1.09. Si observamos las diferencias, las palabras que más se benefician del incremento de la exposición experimental corresponden a la FB= 1.61 y a la CA= 1.35, mientras que las palabras que menos se benefician de dicho incremento son las palabras de CC= 0.73 y de FA= 0.70. Esto indica que las palabras de FB y CA son estímulos más sensibles al cambio de tarea (incremento del tiempo de exposición) propuesto en el experimento 2.

Los valores de la pendiente también nos han ofrecido otra forma de comparar los resultados, aunque de una manera relativa, dada la tendencia no lineal de las curvas (como indica el valor de las constantes cuadráticas). Así, en el experimento 1, la pendiente ofrece un orden en la discriminación que se extiende desde CA, CC, FB y FA, mientras que en el experimento 2 el orden es de CA, FB, CC y FA. Entendemos que cuando hay tiempos de exposición altos el orden de discriminación es el seguido en el experimento 2.

Estos resultados nos permiten avanzar en el conocimiento en la línea que hemos venido indicando en la introducción de este trabajo. En este sentido, y desde el punto de vista teórico, habríamos de suponer que el procesamiento de palabras con FB crea un tipo de memoria bastante similar al de CA, en cuanto a discriminación. Esto podría responder al efecto de distintividad para las palabras de FB en relación con la FA, y al efecto de un contenido semántico mayor en palabras de CA respecto a la CC. Es posible que tanto la distintividad como el diferente grado de contenido semántico produzcan procesos muy similares en relación a la discriminación, aunque no equivalentes, dadas las diferencias obtenidas entre los parámetros ROC y z-ROC (especialmente las constantes cuadráticas correspondientes). Sin embargo, en las palabras de CC hay un efecto cualitativamente distinto y menos comparable, ya que las palabras de CC son conectores, no tienen significado propio, frente a la existencia de un alto grado de contenido semántico en las palabras de CA. Esto indicaría que cuando hablamos de frecuencia de palabras es más plausible un modelo de procesamiento interactivo, mientras que cuando hablamos de clase de palabras sería más adecuado hablar de modularidad, sin olvidar que la modularidad está también relativamente afectada por la frecuencia, tal y como hemos mostrado anteriormente en este trabajo.

En resumen, los parámetros ROC y la manipulación experimental nos han permitido conocer mejor el procesamiento de diferentes tipos de palabras, así como la constatación empírica de que el mayor beneficio de la exposición experimental se manifiesta a favor de las palabras de FB y CA. Es necesario, no obstante, incorporar toda la distribución de los datos y su ajuste mediante curvas ROC y modelado estadístico (v.g., Pelegrina, Ruiz y Wallace, 2000), cuando el conocimiento de las categorías lingüísticas del idioma y los datos empíricos permitan obtener cierta estabilidad o ajuste entre las variables y su distribución.

La aplicación de los parámetros ROC y z-ROC son instrumentos rigurosos si se extienden a la evaluación de otras aplicaciones de la memoria, como por ejemplo en Alzheimer (Mulet, Sánchez-Casas, Arrufat, Figuera, Labad y Rosich, 2005) o en diferencias individuales (Soriano, Macizo y Bajo, 2004), y nos orientan sobre los modelos lingüísticos que se deben utilizar en trabajos educativos y clínicos en los que interviene el lenguaje, la memoria o el aprendizaje.

Alameda, J.R. y Cuetos, F. (1995). Diccionario de frecuencias de las unidades lingüísticas del castellano. Universidad de Oviedo, Departamento de Psicología: Oviedo.

Algarabel, S., Gotor, A. y Pitarque, A. (2003). Remember, know, confidence and the mirror effect: changes as a function of discriminability conditions. European Journal of Cognitive Psychology, 15, 589-605.

Arndt, J. y Reder, L.M. (2002). Word frequency and receiver operating characteristic curves in recognition memory. Journal of Experimental Psychology: Learning, Memory and Cognition, 28 (5), 830-842.

Biassou, N., Obler, L.K., Nespoulous, J.L., Dordain, M. y Harris, K.S. (1997). Dual processing of open-and closed-class words. Brain and Language, 57, 360-373.

Bradley, D. (1978). Computational distinction of vocabulary types. Unpublished Ph D. dissertation. Cambridge: MIT

Friederici, A.D. (1985). Levels of processing and vocabulary types: evidence from on line comprehension in normal and agrammatic. Cognition, 19, 133-166.

Gordon, B. y Caramazza, A. (1983). Closed-and open-class lexical access in agrammatism and fluent aphasic. Brain and Language, 19, 35-45.

Glanzer, M. y Bowels, N. (1976). Analysis of the word-frequency effect in recognition memory. Psychological Review, 91, 1-67.

Glanzer, M., Kim, K., Hilford, A. y Adams, J.K. (1999). Slope of the receiver-operating characteristic in recognition memory. Journal of Experimental Psychology, 25 (2), 500-513.

Juilland, A. y Chang-Rodríguez, E. (1964). Frequency dictionary of Spanish words. Mouton and Co.: La Haya.

Macmilland, N. A., Rotello, C.M. y Verde, M.F. (2003, noviembre). A’, d’, and the one-dimensional model of remember-know judgments. 44th Annual Meeting of The Psychonomic Society: Vancouver.

McClelland, J.L. y Chappell, M. (1998). Familiarity breeds differentiation: a subjective-likelihood approach to the effects of experience in recognition memory. Psychological Review, 105 (4), 724-760.

Mulet, B., Sánchez-Casas, R., Arrufat, M.T., Figuera, L., Labad, A. y Rosich, M. (2005). Deterioro cognitivo ligero anterior a la enfermedad de Alzheimer: tipologías y evolución. Psicothema, 17 (2), 250-256.

Münte, T.F., Wieringa, B.M., Veyerts, H., Szentkutti, A., Matzke y Johannes, S. (2001). Differences in brain potentials to open and closed class words: class and frequency effects. Neuropsychologia, 39, 91-102.

Nespoulos, J.L., Dordain, M., Perron, C., Ska, B., Bub, D., Caplan, D., Mehler, J. y Lecours, A.R. (1988). Agrammatism in sentence production without comprehension deficits: reduced availability of syntactic structures and/or grammatical morphemes? A case study. Brain and Language, 33, 273-295.

Pelegrina, M., Ruiz, M. y Wallace, A. (2000). Índices de discriminación y análisis ROC en el contexto de los modelos lineales generalizados. Metodología de las Ciencias del Comportamiento, 2 (1), 63-83.

Pelegrina, M., Ruiz-Soler, M., López, E. y Wallace, A. (2000). Análisis de variables mediante curvas ROC y modelos categóricos. Psicothema (vol. especial), 2, 427-430.

Pelegrina, M., Salvador, F. y Ortiz, M. (2000). Categorización de información organizada de forma esquemática mediante curvas ROC. Psicothema (vol. especial), 2, 423-426.

Soriano, M.F., Macizo, P. y Bajo, T. (2004). Diferencias individuales en tareas de memoria episódica y semántica. Psicothema, 16 (2), 187-193.

Steyvers, M. y Malmberg, K.J. (2003). The effect of normative context variability on recognition memory. Journal of Experimental Psychology: Learning, Memory and Cognition, 29 (5), 760-766.

Yonelinas, A.P. (1994). Receiver-operating characteristics in recognition memory: evidence for dual-process model. Journal of Experimental Psychology: Learning, Memory and Cognition, 20 (6), 1.341-1.354.

Yonelinas, A.P. (1999). The contribution of recollection and familiarity to recognition and source-memory judgments: a formal dual-process model and an analysis of receiver operating characteristics. Journal of Experimental Psychology: Learning, Memory and Cognition, 25 (6), 1.415-1.434.