|
Entwicklung einer EDV-Unterstützung zur Wirkungsevaluation des Jugendhilfeträgers "casablanca gGmbH" in Berlin
Auftraggeber
casablanca gGmbH und Zukunft Bauen e. V.
Aufgabe
In diesem Projekt wurde der Prozess zur Entwicklung einer Wirkungsevaluation begleitet. Dabei lag der Schwerpunkt weniger auf der originären Konzipierung eines Evaluationsdesigns und der dazugehörenden Erhebungsinstrumenten, da dies durch den Träger selbst entwickelt wurde. Stattdessen wurde eine ergänzende Beratung bei der Konstruktion der Erhebungsinstrumente durchgeführt und ein Verfahren zur EDV-gestützten Erfassung und Auswertung der Daten erstellt. Des Weiteren wurde eine Untersuchung zur Übereinstimmung der im Erhebungsinstrument erfassten Hilfeziele mit den im Hilfeplan aufgeführten Zielen durchgeführt.
Vorgehen/Methode:
Die Besonderheit des vom Träger entwickelten Verfahrens zur Wirkungsevaluation lag darin, am Ende der Maßnahme deren Erfolg von allen Beteiligten einschätzen zu lassen. Beteiligt sind das Jugendamt, die Eltern bzw. Personensorgeberechtigten, die Kinder, Jugendlichen oder jungen Erwachsenen sowie die Mitarbeiter der verschiedenen Trägereinrichtungen. Damit sollte die Trias aus Adressat/-in der Hilfe, Leistungserbringer und Leistungsträger in die Bewertung einbezogen werden.
Ein standardisierter, schriftlich auszufüllender Fragebogen im Umfang von zwei Seiten, erfasst die wesentlichen Aspekte knapp aber prägnant. Dabei beschränkt sich der Inhalt des Fragebogens nicht allein auf die Feststellung einer allgemeinen Zufriedenheit mit der Maßnahme, vielmehr wird auch die Beteiligungs- und Kooperationsqualität bewertet und ein wichtiger Fragenblock erstreckt sich darauf, welche Ziele dem Hilfeprozess zugrunde lagen und ob diese erreicht werden konnten.
Mit der Vorgabe, den Hilfeprozess und dessen Ergebnisse aus dem Blickwinkel aller Beteiligten bewerten zu lassen, ergeben sich eine Reihe von auswertungsbezogenen Herausforderungen. Es liegt nicht eine einzige Bewertung vor, sondern mindesten drei. Und diese müssen nicht übereinstimmen. Daraus ergeben sich für alle Fragen, die in vergleichbarer Weise erfasst wurden, zwei Auswertungskriterien, nämlich einerseits die Bewertung des jeweiligen Frageinhalts selbst sowie andererseits der Grad der Übereinstimmung der Beteiligten bei diesen Bewertungen. Die Divergenz zwischen den Beteiligten weist dabei auf die Subjektivität der Beantwortung, zugleich aber auch auf Gegensätzlichkeiten in der Sichtweise der Beteiligten.
Schließlich sollten sowohl fallbezogene als auch fallübergreifende Auswertungen möglich sein. Und es sollte gewährleistet sein, dass Datenerfassung und Auswertungen mit einfachen Mittel zu realisieren sind.
Ausgewählte Ergebnisse:
- Zur datentechnischen Realisierung des oben beschriebenen Vorgehens wurde das Tabellenkalkulationsprogramm excel verwendet. Gründe für diese Wahl waren: Das Programm hat eine weite Verbreitung und ist im üblichen Microsoft Office Paket enthalten, so dass keine zusätzlichen Kosten entstehen. Des Weiteren sind Kenntnisse in diesem Programm ebenfalls vergleichsweise weit verbreitet. Spezielle Statistik-Software findet keine Anwendung, jedoch wurde eine Exportmöglichkeit vorgesehen.
- Vom Träger wurde ein anonymes Identifizierungssystem erstellt, mit dessen Hilfe sich die Fragebögen der jeweiligen Beteiligten eines Falls zusammenführen lassen.
- Die in der Tabellenkalkulation entwickelte Dateneingabe sieht für jeden Fall ein Tabellenblatt vor. In einem Dateneingabebereich des gleichen Tabellenblatts werden die Angaben aus dem Fragebogen übertragen. In einem Datenauswertungsbereich des Tabellenblatts werden die Angaben in Auswertungen umgesetzt. Dieser Auswertungsbereich ist so gewählt, dass er auf ein DIN A4-Blatt ausgedruckt werden kann und die Ergebnisse zu dem jeweiligen Fall kompakt darstellt.
- Für jede Frage wird eine 4-stufige Skalierung angesetzt, die den Grad der Zufriedenheit bzw. eine Bewertung von „nicht erreicht“ bis „voll erreicht“ widerspiegelt. Pro Beteiligtem des Falls wird aus den verschiedenen Fragen eine Durchschnittsbewertung berechnet. Des Weiteren wird eine Gesamtbewertung über alle Beteiligten ausgewiesen. Weitere Kennwerte beziehen sich auf die Spannweite der Bewertungen, also deren Divergenz und auf den Grad der Übereinstimmung.
- In einem Vortest mit elf Fällen, die zusammen 91 Personen umfassen, erwiesen sich die Konzipierung und die Berechung im Tabellenblatt als robust. Inzwischen ist der Datensatz auf 63 Fälle mit insgesamt 181 Personen angestiegen.
- Der Träger selbst hat erste Ergebnisse in einem Bericht dargestellt. Darin werden die Ergebnisse der einzelnen Fälle nach Hilfeart und Einrichtung zusammengefasst. Aus diesem Bericht soll an dieser Stelle das erfreuliche Ergebnis zitiert werden: „Die von uns entwickelte Evaluation von Erziehungshilfen ist machbar“. Sie sei inhaltlich aussagekräftig und liefere wichtige Hinweise zu Stärken und Schwächen. Hinsichtlich des Verfahrens zur Messung der Zielereichung ist jedoch zu problematisieren, dass es sich im Fragebogen lediglich um subjektive Einschätzungen handelt. Außerdem sind die internen Maßnahmeziele mit den im Hilfeplan festgelegten Zielen oft nicht völlig identisch.
|
|
Projektzeitraum:
April 2004 – Oktober 2004
Durchführung:
Prof. Dr. Mathias Schwabe
Prof. Dr. Martina Stallmann
Studenten des Studienschwerpunkts „Wirkungsevaluation“
Veröffentlichung:
casablanca gGmbH und Zukunft Bauen e. V. mit Unterstützung der Evangelischen Fachhochschule Berlin:
Wirkungsevaluation. Erste Ergebnisse der Erziehungshilfen. Berlin 2005 (unveröffentlichtes Manuskript)
|
|
