Detailansicht
Methodological quality of meta-analytic systematic reviews in clinical child and adolescent psychology (2022-2024)
a meta-review
Julia Maria Riedel
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Psychologie
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Psychologie
Betreuer*in
Martina Zemp
Mitbetreuer*in
Magdalena Siegel
DOI
10.25365/thesis.81185
URN
urn:nbn:at:at-ubw:1-12746.39631.692377-7
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Meta-analytische Systematic Reviews sind zentral für evidenzbasierte Entscheidungen in der klinischen Kinder- und Jugendpsychologie (KKJP). Ihre Vertrauenswürdigkeit hängt jedoch maßgeblich von methodischer Qualität, transparenter Berichterstattung und statistischer Konsistenz ab. Vor dem Hintergrund der Replikationskrise und wachsender Zweifel an der Verlässlichkeit von Forschungssynthesen bietet dieses Meta-Review eine systematische Bewertung der methodischen Qualität aktueller einflussreicher meta-analytischer Systematic Reviews im Bereich der KKJP. Zudem wurden zentrale Aspekte der transparenten Berichterstattung sowie der Zusammenhang von methodischer Qualität mit statistischer Konsistenz untersucht. Eine systematische Literaturrecherche identifizierte 66 meta-analytische Systematic Reviews, die zwischen 2022 und 2024 in sieben führenden KKJP-Zeitschriften veröffentlicht wurden. Die methodische Qualität wurde mithilfe einer adaptierten Version von AMSTAR 2 bewertet und durch eine narrative Analyse zentraler Transparenzaspekte ergänzt, basierend auf PRISMA 2020 und dessen Erweiterungen. Die statistische Konsistenz berichteter Nullhypothesensignifikanztests wurde mit statcheck geprüft. Die methodische Qualität war überwiegend niedrig: Rund 70% der Reviews wurden als Kritisch Niedrig eingestuft, lediglich 3 % erreichten die Qualitätsstufe Hoch. Die Einhaltung der kritischen AMSTAR 2 Domänen variierte stark. Während statistische Synthesemethoden häufig adäquat berichtet wurden, zeigten sich deutliche Defizite bei der Präregistrierung von Protokollen, der Vollständigkeit der Literaturrecherche und der Begründung ausgeschlossener Studien. Die narrative Analyse der Transparenzkriterien offenbarte zudem erhebliche Heterogenität innerhalb der kritischen Domänen von AMSTAR 2 und identifizierte Berichterstattungslücken, insbesondere bei Protokollnutzung, Suchstrategien und Verfahren zur Bewertung des Risk of Bias. In den Reviews mit extrahierbaren statistischen Tests wurden keine groben statistischen Inkonsistenzen festgestellt und die methodische Qualität stand in keinem signifikanten Zusammenhang mit der statistischen Konsistenz. Zusammenfassend legen die Ergebnisse nahe, dass aktuelle einflussreiche meta-analytische Systematic Reviews in der KKJP trotz Veröffentlichung in renommierten Fachzeitschriften etablierte methodische Standards nicht erfüllen. Eine konsequente Stärkung methodischer Qualität sowie transparenter und korrekter statistischer Berichterstattung ist daher unerlässlich, um die Glaubwürdigkeit und den klinischen Nutzen von Evidenzsynthesen in der KKJP zu sichern.
Abstract
(Englisch)
Meta-analytic systematic reviews are central to evidence-based decision-making in Clinical Child and Adolescent Psychology (CCAP), yet their credibility depends on methodological rigor, transparent reporting, and statistical consistency. In the context of the replication crisis and concerns about the trustworthiness of research syntheses, this meta-review evaluates the methodological quality of recent high-impact CCAP meta-analytic systematic reviews, examines how key aspects of reporting transparency complement methodological quality indicators, and explores the association of methodological quality and statistical consistency. A systematic literature search identified 66 meta-analytic systematic reviews published between 2022 and 2024 in seven leading CCAP journals. Methodological quality was assessed using an adapted version of AMSTAR 2, supplemented by a narrative exploration of relevant reporting transparency items derived from PRISMA 2020 and its extensions. Statistical consistency of null hypothesis significance testing results was examined using statcheck. Overall methodological quality was predominantly low. Nearly 70% of reviews were rated as Critically Low in confidence, with only 3% rated as High. Adherence to AMSTAR 2 critical domains varied substantially, with high compliance for statistical synthesis methods but pronounced weaknesses in protocol preregistration, comprehensive literature searches, and justification of excluded studies. The narrative integration of transparency checklist items revealed considerable heterogeneity within AMSTAR 2 critical domains, highlighting reporting gaps that provided nuance to methodological assessments, particularly regarding protocol use, search strategies, and risk-of-bias procedures. Among reviews with extractable statistical tests, no gross statistical inconsistencies were detected, and methodological quality was not meaningfully associated with statistical consistency. Together, these findings provide an upper-bound baseline of methodological quality and indicate that many influential meta-analytic systematic reviews in CCAP fall short of established methodological standards, despite being published in high-impact journals. Strengthening methodological rigor, reporting transparency, and statistical reporting accuracy is therefore essential to ensure the credibility and clinical utility of evidence syntheses in CCAP.
Schlagwörter
Schlagwörter
(Deutsch)
Meta-Review methodische Qualität Transparenz statistische Konsistenz Klinische Kinder und Jugendpsychologie
Schlagwörter
(Englisch)
Meta-review methodological quality reporting transparency statistical consistency Clinical Child and Adolescent Psychology
Autor*innen
Julia Maria Riedel
Haupttitel (Englisch)
Methodological quality of meta-analytic systematic reviews in clinical child and adolescent psychology (2022-2024)
Hauptuntertitel (Englisch)
a meta-review
Publikationsjahr
2026
Umfangsangabe
150 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Martina Zemp
Klassifikation
77 Psychologie > 77.03 Methoden und Techniken der Psychologie
AC Nummer
AC17892281
Utheses ID
80661
Studienkennzahl
UA | 066 | 840 | |