Psicothema, 2012. Vol. Vol. 24 (nº 1). 133-141

Juan Botella y Huiling Huang

La evaluación de la precisión en la clasificación binaria debe contemplar dos indicadores no independientes: verdaderos positivos y falsos positivos. Se han propuesto varios índices. Estos han sido estimados en algunos tests para la detección temprana o cribaje. Resumimos y revisamos los principales métodos propuestos para realizar meta-análisis que evalúan la precisión de este tipo de instrumentos. Se aplican a los resultados de 14 estudios que informan de estimaciones de la precisión del test AUDIT. La agregación directa no permite el uso de los procedimientos meta-analíticos; la estimación separada de la sensibilidad y la especificidad no reconoce que no son independientes; el método de la curva ROC-resumen trata la precisión y el umbral como factores fijos y tiene limitaciones para manejar el papel potencial de las covariables. Los modelos Normal Bivariado y Jerárquico de la curva ROC Resumen son estadísticamente rigurosos y son capaces de incorporar las covariables adecuadamente. Ambos métodos permitieron analizar la asociación entre el género de la muestra y el comportamiento del AUDIT.

Procedures for performing Meta-Analyses of the accuracy of tools for binary classification. The assessment of accuracy in binary classification tools must take into account two non-independent rates: true positives and false positives. A variety of indices have been proposed. They have been estimated for tests employed for early detection or screening purposes. We summarize and review the main methods proposed for performing a meta-analysis that assesses the accuracy of this type of tools. They are applied to the results from 14 studies that report estimates of the accuracy of the AUDIT. The method of direct aggregation does not allow the use of meta-analytic procedures; the separate estimation of sensitivity and specificity does not acknowledge that they are not independent; the SROC method treats accuracy and threshold as fixed effects and has limitations to deal with the potential role of covariates. The Normal Bivariate (NB) model and the Hierarchical Summary ROC (HSROC) model are statistically rigorous and can deal with the covariates properly. They allowed analyzing the association between the gender composition of the sample and the way the test AUDIT behaves in the example.