Eine gute Bewertung vermeidet blinde Entscheidungen. In Sozial- und Umweltprogrammen können wir Potenzial für Veränderung analysieren (vor der Durchführung), Auswirkungen im Zeitverlauf messen (vorher und nachher) und kontrollierte Effekte abschätzen (im Vergleich zu denen, die nicht teilgenommen haben). Jeder Typ beantwortet eine andere Frage: ob wir auf dem richtigen Weg sind, ob eine Veränderung stattgefunden hat und ob diese Veränderung auf den Eingriff zurückzuführen ist. Hier erkläre ich, wann Sie die einzelnen Methoden verwenden sollten und was Sie von Ihren Ergebnissen erwarten können.
Veränderungspotenzial (explorative Bewertung)
Diese Ebene wird vor der Ausführung oder Eskalation verwendet. Es dient dazu, die Strategie an der Theorie des Wandels auszurichten und Schlüsselhypothesen zu validieren: Bevölkerung, Problem, Mechanismen und Risiken.
Verbessern Sie das Design, um blinde Investitionen zu vermeiden.
Typische Methoden: Evidenzprüfung, Interviews mit Akteuren, Co-Creation mit Nutzern, kleine Pilotprojekte und Indikatortests. Zu liefernde Leistungen: Priorisierte Probleme, kritische Annahmen und Definition von Outputs, Ergebnissen und Auswirkungen.
Tipp: Verwenden Sie es, wenn der Druck besteht, „jetzt anzufangen“, aber der Weg nicht klar ist. Eine Woche Erkundung kann Ihnen monatelange Nacharbeit ersparen.
Auswirkungen im Laufe der Zeit (vorher und nachher)
Sie versucht zu beantworten, ob es zwischen Anfang und Ende Änderungen bei den Teilnehmern gab. Hier gilt die offizielle Definition: Bewerten Sie im Laufe der Zeit, d. h. Messung des Anfangs und Endes einer Intervention.
Beweis für Fortschritt, nicht für Kausalität.
Es erfordert eine Basislinie, die Überwachung von Outputs und Ergebnissen sowie konsistente Instrumente zu beiden Zeitpunkten. Es ist ideal für laufende Programme mit klarer Abdeckung und definierten Zyklen. Einschränkung: Ohne eine Vergleichsgruppe können wir nicht bestätigen, dass die Veränderung ausschließlich auf den Eingriff zurückzuführen ist.
Wenn Sie keine Basislinie haben, kein Problem! Es gibt eine Option B: die retrospektive Basislinie. Es besteht darin, am Ende die Wahrnehmung der Menschen darüber zu erfassen, wie es ihnen vorher und nachher ging, und welchen Teil der Veränderung sie dem Programm zuschreiben (Selbstzuschreibung). Es ist nützlich, um Trends zu rekonstruieren, wenn Sie zu spät kommen, und eignet sich ideal für laufende Programme mit klarer Abdeckung und definierten Zyklen.
Kontrollierte Effekte (quasi-experimentell)
Die Vorher-Nachher-Bewertung umfasst eine Gruppe von Personen, die der des Programms sehr ähnlich sind (Alter, Kontext, Ausgangsbedingungen), die jedoch in diesem Zeitraum keine Intervention erhalten; Indem wir vergleichen, wie sich beide Gruppen verändern, können wir abschätzen, wie viel der Veränderung auf das Programm zurückzuführen ist und wie viel ohnehin passiert wäre. Das nennen wir kontrollierte Bewertung, mit anderen Worten, es ist die Messung des Beginns und des Endes einer Intervention und was passiert wäre, wenn sie nicht stattgefunden hätte.
Es ermöglicht eine genauere Zuordnung der Änderung.
Sie können statistische Matching-, Differenzen-in-Differenzen- oder Eignungsdesigns verwenden. Es erfordert mehr ethische und operative Planung und ist am nützlichsten, wenn Sie Geldgebern gemeinsamer Wert demonstrieren oder öffentliche Richtlinien skalieren müssen.
Wie wählt man aus?
| Geben Sie | ein Schlüsselfrage | Wann sollte | verwendet werden? Erwartete Beweise | Technische Anforderung | Erkenntnisse |
|---|---|---|---|---|---|
| Potenzial für Veränderung | Ist die Change-Strategie sinnvoll? | Vor dem Booten oder Skalieren | Klare Risiken, Hypothesen und Kennzahlen | Niedrig | Vorbereitungen: Theorie der Veränderung validiert und Charakterisierung |
| Auswirkungen im Laufe der Zeit | Was hat sich bei den Teilnehmern verändert? | Treffen Sie agile Entscheidungen auf der Grundlage von Fakten | Unterschiede zwischen Grundlinie und Abschluss | Mittel | Agil und rigoros: Ausmaß der beobachteten Veränderung |
| Kontrollierte Effekte | Ist die Veränderung auf den Eingriff zurückzuführen? | Wenn Namensnennung erforderlich ist | Gültiger Vergleich mit Nichtteilnehmern | Hoch | Detailliert: Schätzung des zurechenbaren Effekts (kontrafaktisch) und der Effektgröße |
Häufig gestellte Fragen
Abschluss
Die Wahl der Art der Bewertung ist eine Frage intelligenter Entscheidungen: Zuerst die Route validieren, dann den Fortschritt überprüfen und bei Bedarf die Änderung mit Kontrolle zuordnen. Auf diese Weise schützen Sie Ressourcen, verbessern die Intervention und demonstrieren soziale Auswirkungen -das Leben anderer verändern- mit klaren Beweisen. Lassen Sie uns reden und stellen Sie den Plan zusammen, den Ihr Programm benötigt.