Detailansicht
Durchführung des Schulprojekts Reflect in der Praxis
Implementierungstreue und ihre Relevanz für die Programmwirksamkeit
Michaela Pichler
Art der Arbeit
Diplomarbeit
Universität
Universität Wien
Fakultät
Fakultät für Psychologie
Betreuer*in
Barbara Schober
DOI
10.25365/thesis.32030
URN
urn:nbn:at:at-ubw:1-30307.82780.423153-5
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Die Erhebung von Implementierungstreue ist für die Erklärung des Zustandekommens und die Interpretation von Trainingseffekten von zentraler Bedeutung (Dane & Schneider, 1998). Dennoch wird in der klassischen Programmevaluation stets mehr Wert auf die Überprüfung von Trainingseffekten als auf die Überwachung des Prozesses der Implementierung gelegt (Elliott & Mihalic, 2004). Angaben zur Implementierung sind immer noch eine Seltenheit in Evaluationsstudien (Dane & Schneider, 1998). Falls überhaupt Daten zur Implementierungstreue erhoben werden, so stammen diese zumeist nur von einer Personengruppe und es werden kaum einmal verschiedene Perspektiven miteinander verglichen (Durlak & DuPre, 2008).
Daher war es das zentrale Anliegen dieser Studie, die Implementierungstreue des schulbasierten Gendertrainings Reflect aus drei verschiedenen Perspektiven zu betrachten (LehrerInnen, SchülerInnen und ExpertInnen). Eine zentrale Komponente des Projekts war die Umsetzung gemäß der Selbstbestimmungstheorie (Deci & Ryan, 2002). Die Lehrkräfte sollten ihre SchülerInnen in Bezug auf Autonomie, Kompetenzerleben und soziale Eingebundenheit unterstützen. Die SchülerInnen und LehrerInnen beurteilten die theoriekonforme Umsetzung mittels eines Onlinefragebogens, drei ExpertInnen anhand von Projektportfolios. Die drei Perspektiven wurden mittels einer Korrelationsanalyse und eines T-Tests verglichen. Um die Relevanz der implementierungstreuen Umsetzung für die Wirksamkeit des Projekts zu ermitteln, wurde eine Mehrebenenanalyse durchgeführt, die die verschiedenen Beurteilungen mit einem Trainingseffekt in Zusammenhang bringt (Veränderung des Umgangs mit Unterschiedlichkeit der SchülerInnen).
Die Korrelationsanalyse hat gezeigt, dass die verschiedenen Perspektiven durchwegs signifikant aber niedrig korrelieren. Die Beurteilungen der Lehrpersonen fielen signifikant (p < .01) höher aus als die Beurteilungen der SchülerInnen. Die SchülerInnen- und LehrerInnenbeurteilungen sozialer Eingebundenheit stellten sich als signifikante Prädiktoren des Trainingseffekts heraus (SchülerInnen β = .17, p < .01, LehrerInnen β = .21, p < .05). Die ExpertInnenbeurteilung der Autonomie war ein marginal signifikanter Prädiktor (β=.22, p = .07), die LehrerInnenbeurteilung der Autonomie war ein signifikanter aber negativer Prädiktor (β = -.19, p < .05). Die Ergebnisse zeigen, dass alle drei Beurteilungsperspektiven zur Erklärung der Wirksamkeit des Projekts beitragen können. In Anbetracht des Informationsgewinns durch die ergänzende Verwendung muss für einen multi-method multi-informant Ansatz bei zukünftigen Implementierungsevaluationen plädiert werden.
Abstract
(Englisch)
Measuring Implementation fidelity is crucial for interpreting intervention outcomes and explaining their emergence. Despite its importance for the validity of evaluations and for replicating evidence-based programs effectively in practice (Dane & Schneider, 1998; Dumas et al., 2001; Mowbray et al., 2003) there is still a lack of implementation analysis in most evaluation studies (Dane & Schneider, 1998). If implementation fidelity is measured at all mostly only one perspective (coaches, experts or participants) is factored in and perspectives are hardly ever compared to each other (Durlak & DuPre, 2008). Therefor there is only little information about differences and agreements between the perspectives.
Accordingly this study‘s aim was to include three perspectives into the assessment of intervention fidelity of a school-based gender training called Reflect. One of the program‘s core components was to implement it in regard to Self-Determination Theory (Deci & Ryan, 2002). Teachers were supposed to support students‘ perceptions of competence, autonomy and relatedness. Students and teachers were asked to rate the degree to which teachers‘ implementation had adhered to this core component using an online questionnaire and three experts rated the adherence based on intervention-portfolios provided by the teachers. The three perspectives were then compared through correlational analyses and a t-test. A multilevel-analyses was conducted to assess the different predictive values for a training outcome (students‘ change in handling diversity).
Correlation analyses showed that the three perspectives correlated significantly but low. Teacher self-reports provided significantly higher ratings for each variable compared to student ratings (p < .01). Student rating and teacher rating of adherence to support of relatedness were highly significant predictors of the outcome (students β = .17, p < .01, teachers β = .21, p < .05). Expert rating of adherence to autonomy support was a marginal significant predictor of the outcome (β = .22, p = .07), Teacher rating of adherence to autonomy support was a significant but negative predictor of the outcome (β = -.19, p < .05). Based on these results the advantages and disadvantages of the three different perspectives are discussed and the benefits of a multi-method and multi-informant approach in measuring implementation fidelity are pointed out.
Schlagwörter
Schlagwörter
(Englisch)
implementation fidelity adherence measurement different perspectives outcome
Schlagwörter
(Deutsch)
Erfassung von Implementierungstreue verschiedene Perspektiven Zusammenhang mit Trainingseffekt Implementierungsevaluation schulbasierte Projekte
Autor*innen
Michaela Pichler
Haupttitel (Deutsch)
Durchführung des Schulprojekts Reflect in der Praxis
Hauptuntertitel (Deutsch)
Implementierungstreue und ihre Relevanz für die Programmwirksamkeit
Publikationsjahr
2014
Umfangsangabe
76 S. : graph. Darst.
Sprache
Deutsch
Beurteiler*in
Barbara Schober
Klassifikationen
77 Psychologie > 77.03 Methoden und Techniken der Psychologie ,
77 Psychologie > 77.93 Angewandte Psychologie
AC Nummer
AC11569825
Utheses ID
28477
Studienkennzahl
UA | 298 | | |