INFORMATION

Psicothema was founded in Asturias (northern Spain) in 1989, and is published jointly by the Psychology Faculty of the University of Oviedo and the Psychological Association of the Principality of Asturias (Colegio Oficial de Psicología del Principado de Asturias).
We currently publish four issues per year, which accounts for some 100 articles annually. We admit work from both the basic and applied research fields, and from all areas of Psychology, all manuscripts being anonymously reviewed prior to publication.

PSICOTHEMA
  • Director: Laura E. Gómez Sánchez
  • Frequency:
         February | May | August | November
  • ISSN: 0214-9915
  • Digital Edition:: 1886-144X
CONTACT US
  • Address: Ildelfonso Sánchez del Río, 4, 1º B
    33001 Oviedo (Spain)
  • Phone: 985 285 778
  • Fax: 985 281 374
  • Email:psicothema@cop.es

Methodological convergence of program evaluation designs

Salvador Chacón-Moscoso1, M. Teresa Anguera2, Susana Sanduvete-Chaves1 and Milagrosa Sánchez-Martín1


1 Universidad de Sevilla, and 2 Universidad de Barcelona

Background: Nowadays, the confronting dichotomous view between experimental/quasi-experimental and non-experimental/ethnographic studies still exists but, despite the extensive use of non-experimental/ethnographic studies, the most systematic work on methodological quality has been developed based on experimental and quasi-experimental studies. This hinders evaluators and planners’ practice of empirical program evaluation, a sphere in which the distinction between types of study is changing continually and is less clear. Method: Based on the classical validity framework of experimental/quasi-experimental studies, we carry out a review of the literature in order to analyze the convergence of design elements in methodological quality in primary studies in systematic reviews and ethnographic research. Results: We specify the relevant design elements that should be taken into account in order to improve validity and generalization in program evaluation practice in different methodologies from a practical methodological and complementary view. Conclusions: We recommend ways to improve design elements so as to enhance validity and generalization in program evaluation practice.

Convergencia metodológica de los diseños de evaluación de programas. Antecedentes: por una parte, actualmente todavía existe la visión dicotómica en que se presentan confrontados los estudios experimentales/cuasi-experimentales y no-experimentales/etnográficos; y por otra parte, a pesar del extendido uso de los estudios no-experimentales/etnográficos, el trabajo más sistemático sobre calidad metodológica se ha llevado a cabo en los estudios experimentales y cuasi-experimentales. Esto dificulta la práctica de quienes evalúan y planifican los programas a nivel empírico, un área donde la distinción entre tipos de estudio está en cambio constante y es menos clara. Método: tomando como referencia el marco clásico de validez en estudios experimentales/cuasi-experimentales, realizamos una revisión de la literatura con el fin de analizar la convergencia de los elementos de diseño en calidad metodológica de los estudios primarios en revisiones sistemáticas e investigación etnográfica. Resultados: explicitamos los elementos de diseño relevantes que habrían de tenerse en cuenta para mejorar la validez y generalización en evaluación de programas en las diferentes metodologías desde una aproximación práctica de complementariedad metodológica. Conclusiones: proponemos recomendaciones para mejorar los elementos de diseño y así potenciar la validez y la generalización en la práctica de evaluación de programas.

PDF

Impact Factor JCR SSCI Clarivate 2023 = 3.2 (Q1) / CiteScore SCOPUS 2023 = 6.5 (Q1)