Hintergrundinformationen zur Wirkungsmessung

Wissenschaftliche Evaluation

Die begleitende Evaluation ist bereits seit den Anfängen von BUNTER BALL im Oktober 2018 elementarer Baustein des Programms. Während der Entwicklungs- und Testungsphase des Programms 2019 - 2023 wurden jährlich in Einzelinterviews zwei Tests mit den Kindern durchgeführt. Einerseits beantworteten die Kinder die Fragen aus den beiden Teilgebieten „Klassenklima“ und „Soziale Integration“ des Fragebogens zur Erfassung emotionaler und sozialer Schulerfahrungen (FEESS)[1]. Darüber hinaus beantworteten sie die Fragen aus den Teilbereichen „Identifikation von Emotionen“, „Regulation von Emotionen“ und „Sozial kompetentes Handeln“ der Intelligence and Development Scales – 2 (IDS-2)[2]. Wissenschaftliche Kooperationspartner waren hierbei das Psychologische Institut der Deutschen Sporthochschule Köln sowie der Lehrstuhl für Erziehungshilfe und sozial-emotionale Entwicklungsförderung der Universität Köln.

Die Untersuchung soll die zentralen Fragestellungen beantworten:

1. Wie verändern sich die emotionalen und sozialen Kompetenzen der Teilnehmenden durch das BUNTER BALL-Programm?

2. Wie wirkt sich das Programm auf die soziale Integration sowie das Klassenklima innerhalb der teilnehmenden Klassen aus?

Im Juni 2023 wurde diese erste Längsschnittbetrachtung abgeschlossen. Insgesamt wurden 330 Kinder an drei Grundschulen wissenschaftlich begleitet. Es zeigen sich für 6 der 8 getesteten Klassen signifikante Verbesserung (p < 0,05) der Fähigkeit zur Regulation von Emotionen. Zudem zeigen sich für 7 von 8 getesteten Klassen Verbesserungen der Fähigkeit zur Identifikation von Emotionen.  Für 6 von 8 der getesteten Klassen lassen sich Verbesserungen der Fähigkeit zum sozial-kompetenten Handeln ablesen. In 6 von 8 getesteten Klassen zeigen sich Verbesserungen der sozialen Integration innerhalb der Klasse.

Um die Ergebnisse dieser Studie zu validieren und die positiven Effekte eindeutig der Teilnahme an BUNTER BALL zuzuordnen, wurde 2022 eine Kontrollgruppe von insgesamt 182 Kindern an zwei Grundschulen mit dem gleichen Testdesign befragt. Sowohl für die Emotionsidentifikation als auch das sozial kompetente Handeln fiel der Gruppenvergleich in mehreren Jahrgangsstufen signifikant zugunsten der Interventionsgruppe aus. Für die Wirkung des Programms spricht dabei insbesondere, dass zu Beginn der ersten Jahrgangsstufe keine signifikanten Unterschiede vorlagen.

2022 wurde eine neue Kohorte von Erstklässlern für die Evaluation ausgewählt. Die Kinder stammten aus drei verschiedenen Schulen, an denen jeweils Interventionsgruppen und Kontrollgruppen erhoben wurden. Insgesamt wurden 54 Kinder, die am Programm teilnehmen (Interventionsgruppe), und 62 Kinder, die nicht am Programm teilnehmen (Kontrollgruppe), getestet. Diese Erhebung wurde für ein Schuljahr von Prof. Dr. Sven Lindberg vom Fachbereich für Klinische Entwicklungspsychologie an der Universität Paderborn begleitet.

Zusätzlich wurde im Mai/Juni 2023 erstmals der MOBAK [3] eingesetzt, um motorische Basiskompetenzen zu testen. Wir erheben damit zwar keine Indikatoren der Wirkungslogik, dennoch halten wir es für wichtig, nachzuweisen, dass die Förderung der motorischen Kompetenzen durch BUNTER BALL sichergestellt ist.

Seit dem Schuljahr 2025/25 wird erneut eine Kohorte von Erstklässer:innen aus 5 verschiedenen Schulen wissenschaftlich begleitet mit dem Ziel eine weitere Längsschnittbetrachtung über 4 Jahre durchzuführen.

[1] Rauer, Wulf; Schuck Karl Dieter (2004)

[2] Grob, Alexander; Hagmann-von Arx, Priska (2018)

[3] Herrmann, C. (2018)

Outcome Reporting

Die Methode Outcome Reporting ist ein verbreitetes Instrument der Wirkungsmessung für soziale Programme, das sich auf einen Methodenmix aus qualitativen und quantitativen Erhebungen zur Darstellung der Perspektiven der Zielgruppen stützt.

Um die intendierte Wirkung auf Seiten der Kinder als Kernzielgruppe zu erzielen, müssen wir die Wirkungen auf Seiten der Lehrkräfte als Voraussetzung mitberücksichtigen. Dementsprechend erhebt unser Outcome Reporting über Fragebögen und qualitative Daten Effekte bei den Lehrkräften sowie bei den Kindern.

Den genauen Ablauf kannst du hier nachlesen: Outcome Reporting an deiner Schule

Die Methode Outcome Reporting umfasst vier aufeinanderfolgende Kernelemente, die wir für BUNTER BALL folgendermaßen umsetzen:

1. Sammlung qualitativer Daten in Begleitveranstaltungen und Gesprächen mit Lehrkräften

2. Jährliche Fragebögen für Lehrkräfte und Kinder

3. Punktuell Interviews mit Kindern

4. Jährlicher interner Review unserer Wirkungslogik, des Programmangebots und der Erhebungsinstrumente

Zum Aufbau unseres eigenen Outcome Reportings wurden wir von der Expertin Sarah Ulrich beraten. Sie hat ein umfassendes Handbuch dazu erarbeitet. Über den folgenden Link gelangst du direkt zum Handbuch: 2018_leitfaden_outcomreporting.pdf (education-y.de)

Ergebnisse der Wirkungsmessung

Über die Ergebnisse der Wirkungsmessung berichten wir in unserem aktuellen Wirkungsbericht, den du auf unserer Homepage lesen kannst: Wirkungsbericht In safe hands 22/23 und 23/24