Psicothema, 2000. Vol. Vol. 12 (Suplem.2). 81-86

Ángel Blanco Villaseñor, Julen Castellano Paulis^* y Antonio Hernández Mendo^**

La metodología y técnicas utilizadas en investigación observacional tienen una característica común: sólo observamos y registramos una muestra del comportamiento de los individuos. Así, el error muestral surge como resultado de observar tan solo una fracción de todas las ocasiones posibles. Ello forma parte de la estimación de la precisión de los datos registrados mediante la observación sistemática. El muestreo que tiene lugar, usualmente en diferentes etapas (observadores, sesiones, días, momentos, técnicas, etc.), requiere la estimación de los componentes de variancia, que pueden ser combinados entre sí para producir una o más estimaciones de coeficientes de precisión.

En este estudio hemos seleccionado una estructura de diseño multifaceta cruzada que incorpora diferentes partidos de distintos equipos (Francia, Brasil, Holanda y Croacia) que jugaron el último Mundial de Fútbol, a través de un sistema de macro-categorías aplicable a cada uno de los equipos observados exclusivamente en su acción de juego (Inicio de posesión o recuperación del balón -8 categorías-, mantenimiento de la posesión o desarrollo de la acción del juego -18 categorías-, fin de la posesión o pérdida -8 categorías- y desarrollo de la no posesión al recuperar el balón el equipo contrario -18categorías) y en 6 categorías a balón parado. Para confirmar los resultados obtenidos rediseñamos nuestros datos en una estructura multifaceta parcialmente anidada, analizando las distintas categorías que componen cada macro-categoría independientemente y en interacción. La última estrategia nos permite analizar a priori distintos partidos de distintos equipos de forma independiente en diferentes combinaciones cruzadas y anidadas.

Observations of the football game action: A Generalizability study. In this study we observed several matches from different football teams playing the last Football World Cup. We selected a structure of crossed multifacet design which incorporates different matches between different teams by means of a set of integrated categories. This integrated categories were: 1) Starting of ball control or recovering of the ball control -8 categories-, 2) Maintaining of the ball control or development of the game action -18 categories-, 3) Losing the ball control or ending of the ball control -8 categories-, 4) Categories of the target team when the opponent has the ball control -18 categories-, 5) Six categories when the ball is not in movement. To confirm the obtained results we redraw our data in a partially nested multifacet structure, analyzing the different categories that compose each integrated set of categories, independently; also the interaction between them was evaluated. The last strategy allows us to analyze, independently, different matches of different teams; also different crossed and nested combinations were evaluated.

La metodología y técnicas utilizadas en investigación observacional tienen una característica común: sólo observamos y registramos una muestra del comportamiento de los individuos. Así, el error muestral surge como resultado de observar tan solo una fracción de todas las ocasiones posibles. Ello forma parte de la estimación de la precisión de los datos registrados mediante la observación sistemática. El muestreo que tiene lugar, usualmente en diferentes etapas (observadores, sesiones, días, momentos, técnicas, etc.), requiere la estimación de los componentes de variancia, que pueden ser combinados entre sí para producir una o más estimaciones de coeficientes de precisión.

La estimación de la precisión ha sido desarrollada en la teoría de la generalizabilidad, asumiendo que hay otras fuentes de variación además de las diferencias individuales e integrando cada una de estas fuentes de variación en una estructura global, que permite aplicaciones particulares de la teoría estadística del muestreo (Blanco-Villaseñor, 1989, 1992, 1993, 1997). La teoría de la generalizabilidad reconoce explícitamente las múltiples fuentes de error de medida (individuos, observadores, sesiones, días, técnicas...). Podemos estimar cada una de estas fuentes de error así como las diferentes interacciones entre ellas. El error de medida no es más que el efecto de las fluctuaciones debidas a la elección aleatoria de individuos, observadores, sesiones, días, técnicas..., es decir al muestreo de niveles particulares en cada una de las facetas del universo de observaciones posibles. Optimizar dicha medida es adaptar nuestro diseño para reducir al máximo la variancia del muestreo debida a estas facetas.

Esta es una visión particular desde la teoría de la generalizabilidad que ha sido avalada especialmente por Cardinet, Tourneur & Allal (1976, 1981) y que ha supuesto importantes consideraciones metodológicas en el estudio de la observación directa del comportamiento a través de la metodología observacional (Blanco-Villaseñor, 1989). Cronbach, Gleser, Nanda & Rajaratnam (1972) han desarrollado la teoría de la generalizabilidad, asumiendo que hay otras fuentes de variación además de las diferencias individuales. En palabras de Cardinet, Tourneur & Allal (1976), esto significa asumir el principio de simetría, es decir que sucesivos objetos de medida pueden ser evaluados dentro de un mismo diseño. Mediante dicho principio, cada faceta (variable) de un diseño puede ser seleccionada como objeto de estudio y en cada análisis de generalizabilidad de esta faceta puede ser considerada como instrumento de medida o condición de evaluación en el estudio de las otras facetas. La filosofía básica que subyace a la teoría de la generalizabilidad es que un investigador se pregunta acerca de la precisión o fiabilidad de una medición dado que desea generalizar de observaciones reales a cualquier tipo de observaciones a las que éstas pertenezcan (Cronbach, Rajaratnam & Gleser, 1983, p. 144). En la investigación es el universo al que el investigador desea generalizar.

Hemos seleccionado para ello una estructura de diseño multifaceta cruzada que incorpora diferentes partidos de distintos equipos (Francia, Brasil, Holanda y Croacia) que jugaron el último Mundial de Fútbol, a través de un sistema de macro-categorías (Anguera, 1993; Blanco-Villaseñor y Anguera, 1993) aplicable a cada uno de los equipos observados exclusivamente en su acción de juego (Inicio de posesión o recuperación del balón -8 categorías-, mantenimiento de la posesión o desarrollo de la acción del juego -18 categorías-, fin de la posesión o pérdida -8 categorías- y desarrollo de la no posesión al recuperar el balón el equipo contrario -18categorías) y en 6 categorías a balón parado [Tabla 1]. Para confirmar los resultados obtenidos rediseñamos nuestros datos en una estructura multifaceta parcialmente anidada, analizando las distintas categorías que componen cada macro-categoría independientemente y en interacción. La última estrategia nos permite analizar a priori distintos partidos de distintos equipos de forma independiente en diferentes combinaciones cruzadas y anidadas.

La situación motriz analizada es el fútbol de competición, entendido como un deporte de equipo de colaboración-oposición, que se juega en un espacio común y con participación simultánea. Los deportes sociomotores y más concretamente los deportes de equipo, tienen en la «interacción motriz» su peculiaridad más representativa (Blanco-Villaseñor y Hernández Mendo, 1999; Hernández Mendo, 1996; Hernández Mendo y Anguera, 1997). La incertidumbre social en la que se desarrollan los acontecimientos marca, de forma definitoria, uno de los rasgos de su lógica interna (Parlebas, 1988). Para llevar a cabo el análisis, se han registrado doce partidos de la segunda fase del Mundial de Francia’98.

Este desarrollo empírico lo dividiremos en cuatro fases. Las dos primeras tienen su fundamentación en el análisis de la variancia, mientras que las fases tercera y cuarta desarrollan los conceptos que son propios a la teoría de la generalizabilidad (Cardinet & Tourneur, 1978; Cardinet, Tourneur & Allal, 1976, 1981; Shavelson & Webb, 1981, 1991).

La primera fase es puramente descriptiva: se identifican y organizan los datos en un Plan de Observación. Se eligen las facetas a tener en cuenta y se precisan las interrelaciones entre las facetas estudiadas. Se decide el número de niveles muestreados en cada faceta [Tabla 1]. La variancia total a través del universo y población para este diseño de medida cruzado multifaceta es igual a la suma de los respectivos componentes de variancia de cada uno de los 7 efectos en nuestra estructura de diseño Partidos x Equipos x Categorías (P x E x C). [Ilustración 1].

En la segunda fase del desarrollo de un análisis de generalizabilidad, la elección de un modelo de estimación apropiado (ya sea de efectos aleatorios o mixtos) está determinado por el modo de muestrear los niveles de cada faceta (Infinita, Finita y/o Fija), es decir los componentes de variancia estimados reflejan la magnitud del error cometido cuando generalizamos el valor obtenido a la puntuación universo [Ilustración 2]. Los datos correspondientes al Plan de Estimación se han obtenido a través del programa 8V del paquete estadístico BMDP (Dixon, Brown, Engelman, & Jennrich, 1990). En este caso,observamos que el comportamiento reflejado en las Categorías es similar en los tres partidos, dada la pequeña variabilidad de la faceta Equipos (2% en la estimación aleatoria). La variabilidad de la faceta Categorías es muy grande (85%). Dado que el residual también es importante sería razonable analizar cada Partido de forma independiente o, en todo caso, agrupar las Categorías en Subsistemas si queremos obtener valores más precisos y más generalizables en el conjunto de Partidos [Tabla 2]. El análisis independiente de cada Equipo refleja que una parte importante de la variabilidad en los partidos jugados por Francia y Holanda se debe a la variabilidad de la puntuación universo (Categorías). Sin embargo, una parte sustancial de la variabilidad en los partidos jugados por Brasil y Croacia se debe a ambas, a la puntuación universo (Categorías), pero también a la variabilidad que se produce en cada Partido [Tabla 3].

En la tercera fase, se introducen los conceptos de la teoría de la generalizabilidad, con el fin de analizar las propiedades de uno o más Planes de Medida. Los objetos de medida admisibles constituyen la población objeto de estudio y los instrumentos de medida (las condiciones de observación en terminología de Cronbach) constituyen el universo de generalización. Los primeros se sitúan en el aspecto de la Diferenciación, ya que la variancia verdadera proviene de las diferencias entre objetos de estudio. Los segundos se sitúan en el aspecto de la Instrumentación, puesto que las condiciones de medida son como los instrumentos o medios de esta medida. Se han seleccionado los términos diferenciación e instrumentación porque se corresponden bien con las operaciones fundamentales del análisis de la generalizabilidad, es decir estimación de la variancia verdadera debida a las diferencias entre los objetos de medida, y estimación de la variancia de error debida a la elección de los instrumentos utilizados en la medida (Cardinet, Tourneur & Allal, 1976, 1981).

Si aplicamos a esta tercera fase el principio de simetría, es decir tomando como objeto de estudio cada una de las facetas, podemos ver que se puede atribuir toda faceta ya sea a la diferenciación, ya sea a la instrumentación. Esta imputación se realiza independientemente del modo de distribución de los niveles de las facetas. De esta forma, se tendrán en cuenta cuatro tipos de facetas: las facetas de diferenciación que son aleatorias (infinitas o finitas) o las que son fijas, y las facetas de instrumentación que son aleatorias (infinitas o finitas) o las que son fijas. En el estudio empírico que presentamos se ha llevado a cabo un Plan de Estimación aleatorio y un Plan de Estimación mixto con facetas fijas, también un Plan de Estimación anidado [Tabla 4].

En la cuarta fase, las informaciones obtenidas en los análisis precedentes se utilizan para identificar la mejor adecuación posible en los procedimientos de medida. Ello nos conducirá posiblemente a la elección de otra disposición, mejor adaptada a ciertas condiciones de decisión. En terminología de Cronbach et al. (1972) estaríamos hablando de un estudio de decisión (D), aunque en la nueva terminología de Cardinet & Tourneur (1978) se trataría del Plan de Optimización, en base a que esta fase se aplica tanto a las situaciones de medida orientadas hacia una decisión como a las áreas de investigación orientadas hacia una conclusión.

Una vez determinado el Plan de Medida, podemos pasar a la fase de Optimización, en el que, como podemos observar en la siguiente tabla [Tabla 4], vamos a ir modificando el plan de observación original para lograr una optimización de cada una de las facetas en estudio. Para cada plan de medida, realizaremos las modificaciones oportunas en las facetas consideradas como instrumentos de medida. Todas las optimizaciones se han llevado a cabo a través del programa Etudgen (Duquesne, 1986). En el primer Plan de Medida, donde la faceta Partidos es la Instrumentación, observamos que obtendríamos coeficientes similares y precisos si en lugar de registrar tres partidos de cada equipo hubiésemos registrado tan solo dos, reduciendo así el número de observaciones. En el segundo Plan, obtendríamos resultados igual de precisos si registramos a tres equipos en lugar de los cuatro programados inicialmente. Algo similar ocurre si analizamos conjuntamente como facetas de Instrumentación las facetas Partidos y Equipos. No ocurre exactamente lo mismo cuando la faceta de Instrumentación son las Categorías, donde podemos determinar, en los dos últimos Planes de Medida, que se necesitarían entre 58 y 108 categorías para estimar con precisión. Se impone ahora rediseñar nuestro Plan de Estimación y realizar un análisis independiente de cada grupo de Categorías [Tabla 5], donde observamos la gran variabilidad que existe en cada grupo categórico y la poca o mucha precisión en la generalización de cada uno de ellos. En última instancia, ello significaría una nueva estructura de diseño multifaceta parcialmente anidada más homogénea y ortogonal, que reflejara subsistemas de categorías anidados en los diferentes Grupos Categóricos y donde las Sub-Categorías de cada Sub-Sistema difieren de un grupo categórico a otro, tal y como reflejamos en la Tabla 6.

Conclusión

Entendemos que nuestra propuesta abre nuevas vías para profundizar en los estudios sobre la acción de juego en fútbol, haciendo posible el análisis de los aspectos del juego desde una perspectiva contextualizada y secuenciada que creemos se ajusta de forma más pertinente a la ‘realidad’ del juego (Castellano y Hernández Mendo, 1999).

En nuestro caso, teniendo en cuenta los resultados que hemos obtenido en el estudio de generalizabilidad, nos ha servido para comprobar que partimos de un diseño de investigación adecuado en cuanto al número de equipos y partidos analizados, aunque con la posibilidad de disminuir el número de observaciones y tener la misma precisión de generalización en los análisis posteriores. Pero además, nos ha servido para poder diseñar una investigación más amplia, introduciendo modificaciones en el diseño actual. En concreto, proponemos en la Tabla 6, crear Grupos Categóricos diferentes donde las categorías sean diferentes en cada grupo (anidación). Esta anidación de facetas que hemos realizado trae consigo un alto coste-beneficio, en el sentido de que cubrimos un mayor índice de precisión en la generalización de resultados de una investigación observacional contando realmente con un menor número de niveles en cada una de las facetas, ya sea independientemente o de forma conjunta. De hecho, siempre contaremos con un menor número de componentes de error que permitirá dicha precisión si los residuales son pequeños. En efecto, en el espíritu de Cronbach un análisis G constituye normalmente un estudio a priori, que sirve para preparar un diseño de investigación a más grande escala. El trabajo previo de estimación de las fuentes de variancia debe permitir poner a punto los dispositivos de medida adaptados a las decisiones consideradas en la investigación principal (Plan de Optimización).

Anguera, M.T. (1993). Proceso de categorización. En M.T. Anguera (Ed.), Metodología observacional en la investigación psicológica. Vol 1: Fundamentación (pp 115-167). Barcelona: PPU.

Blanco Villaseñor, A. (1989). Fiabilidad y generalización de la observación conductual. Anuario de Psicología, 43, 6-32

Blanco Villaseñor, A. (1992). Aplicaciones de la Teoría de la Generalizabilidad en la selección de diseños evaluativos. Bordón, 43 (4), 431-459.

Blanco Villaseñor, A. (1993). Fiabilidad, precisión, validez y generalización de los diseños observacionales. En M.T. Anguera (Ed.), Metodología observacional en la investigación psicológica: Vol. 2: Fundamentación (2) (pp.151-261). Barcelona: PPU.

Blanco Villaseñor, A. (1997). Precisión en la evaluación de la Investigación Observacional. En V Congreso de Metodología de las Ciencias Humanas y Sociales. Sevilla: AEMCCO, 23-26 de septiembre.

Blanco Villaseñor, A. y Anguera Argilaga, M.T. (1993 ). Sistemas de codificación. En M.T. Anguera (Ed.), Metodología observacional en la investigación psicológica. Vol 1: Fundamentación (pp. 193-232). Barcelona: PPU.

Blanco-Villaseñor, A., Losada, J.L., y Anguera, M.T. (1991). Estimación de la precisión en diseños de evaluación ambiental. Evaluación Psicológica / Psychological Assessment, 7 (2), 223-257.

Blanco Villaseñor, A. y Hernández Mendo, A. (1998). Estimación y generalización en un diseño de estructura espacial defensiva en el fútbol. En J. Sabucedo, R. García Mira, E. Ares y D. Prada, Medio Ambiente y Responsabilidad Humana (pp. 579-583). A Coruña: Libro de Comunicaciones-VI Congreso de Psicología Ambiental.

Castellano Paulis, J. y Hernández Mendo, A. (1999). Análisis secuencial en el fútbol de rendimiento. En VI Congreso de Metodología de las Ciencias Sociales y de la Salud (Symposium ‘Metodología Observacional’). Oviedo (Asturias), 28septiembre a 2 de octubre de 1999.

Cardinet, J., & Tourneur, Y. (1978). Le calcul des marges d’erreur dans la théorie de la généralisabilité (Doc. 780.410/CT). Mons: Université de l’Etat, Service d’étude des méthodes et des moyens d’enseignement.

Cardinet, J., Tourneur, Y., & Allal, L. (1976). The simmetry of generalizability theory: Applications to educational measurement. Journal of Educational Measurement, 13(2), 119-135.

Cardinet, J., Tourneur, Y., & Allal, L. (1981). Extension of generalizability theory and its applications in educational measurement. Journal of Educational Measurement, 18 (4), 183-204.

Cronbach, L.J., Gleser, G.C., Nanda, H., & Rajaratnam, N. (1972). The dependability of behavioral measurements: theory of generalizability for scores and profiles. New York: John Wiley and Sons.

Cronbach, L.J., Rajaratnam, N., & Gleser, G.C. (1963). Theory of generalizability: a liberalization of reliability theory. British Journal of Mathematical and Statistical Psychology, 16, l37-163.

Dixon, W.J., Brown, M.B., Engelman, L., & Jennrich, R.I. (1990). BMDP Statistical Software Manual. Berkeley, CA: University of California Press.

Duquesne, F. (1986). Développement sur micro-ordinateur d’un programme pour l’etude de la généralisabilité des données. Scientia Paedagogica Experimentalis, 23 (1), 29-36.

Hernández Mendo, A. (1996). Observación y análisis de patrones de juego en deportes sociomotores. Tesis Doctoral: Universidad de Santiago de Compostela.

Hernández Mendo, A. y Anguera, M.T. (1997). Aportaciones del análisis secuencial a las acciones de juego en deportes sociomotores. En V Congreso de Metodología de las Ciencias Humanas y Sociales. Sevilla: AEMCCO, 23-26 de septiembre.

Parlebas, P. (1988). Elementos de sociología del deporte. Málaga: Unisport Andalucía.

Shavelson, R.J., & Webb, N.M. (1981). Generalizability theory: 1973-1980. British Journal of Mathematical and Statistical Psychology, 34, 133-166.

Shavelson, R.J., & Webb, N.M. (1991). Generalizability Theory: A Primer. Newbury Park, CA: Sage Publications.