Bei einer Auswirkungsbewertung wird gemessen, wie sich das Leben anderer verändert und inwieweit diese Veränderung auf das Programm zurückzuführen ist. Es dient der Entscheidungsfindung, dem Lernen und der Kommunikation mit den verschiedenen Akteuren. Dazu gehört die Definition von Indikatoren, das Sammeln von Daten und die Analyse, ob der beobachtete Effekt auf die Intervention zurückgeführt werden kann.

Was ist das und warum ist es wichtig?

Die Impact Evaluation beantwortet zwei Fragen. Gab es Veränderungen im Leben der Menschen? Inwieweit treten diese Veränderungen aufgrund eines Eingriffs auf? Sein Wert besteht darin, Entscheidungsbeweise zu liefern: das Design anpassen, Ressourcen priorisieren, skalieren, was funktioniert, und schließen, was nicht.

Um Verwirrung zu vermeiden: Outputs sind was sofort passiert (z. B. durchgeführte Workshops), Ergebnisse sind was Zeit braucht, um zu geschehen (Fähigkeiten, Einkommen, Wohlbefinden) und Auswirkungen sind was das Leben anderer auf tiefgreifendere und nachhaltigere Weise verändert hat.

Genauigkeitsstufen: von der beobachteten Änderung bis zur Zuschreibung

Nicht alle Bewertungen zielen auf dasselbe ab. Je nach Zielsetzung und Ressourcen können Sie unterschiedliche Evidenzniveaus wählen:

  1. Potenzial für Veränderung: Wenn man nur einen Moment einer Intervention misst, ist es nützlich, einen schnellen Überblick darüber zu haben, wie es den Menschen zu einem bestimmten Zeitpunkt geht, auch wenn dadurch kein Vergleich mit dem Anfang oder Rückschluss auf die Kausalität möglich ist.
  2. Bewerten Sie im Laufe der Zeit: Messung des Beginns und Endes einer Intervention, rerfordert Basislinie und Abschluss mit konsistenten Instrumenten, um die Nettoveränderung der Teilnehmer abzuschätzen. Wenn das Programm bereits gestartet ist und nicht ex ante erfasst werden konnte, besteht eine Alternative in der Verwendung einer rückblickenden Baseline: Am Ende fragen Sie, wie es ihnen vorher und nachher ging und inwieweit sie die Änderung dem Programm zuschreiben. Es gibt Einschränkungen, die vom Gedächtnis der Menschen abhängen, aber es kann mit qualitativen Beweisen trianguliert werden, um die Informationen fundierter zu machen.
  3. Mit Kontrolle bewerten: Ermöglicht Ihnen zu vergleichen, was passiert wäre, wenn mein Projekt nicht existiert hätte. Dazu ist es notwendig, die Gruppe (Personen oder Organisationen), mit der Sie zusammengearbeitet haben, und eine ähnliche Gruppe, mit der Sie nicht zusammengearbeitet haben, zu messen, und zwar zu Beginn und am Ende einer Intervention. Diese Auswertung ermöglicht eine genauere Zuordnung der Wirkung.

Wählen Sie die Strenge, die Ihre Entscheidung erfordert: Lernen Sie schnell, verbessern Sie sich im Laufe der Zeit oder demonstrieren Sie die Zuordnung zur Skalierung.

Wie wird es in der Praxis umgesetzt?

Der Prozess kombiniert technisches Design („Desktop“) und Feldarbeit. Das kann man so sehen:

Definieren Sie zunächst, wen das Programm betrifft und welche Veränderungen vernünftigerweise zu erwarten sind, im Einklang mit der Theorie des Wandels (der Roadmap zur Veränderung des Lebens anderer). Legen Sie dann Metriken fest, wählen Sie das Design aus (einfach, zeitlich begrenzt oder kontrolliert, je nach Ihren Bedürfnissen und Fähigkeiten) und einigen Sie sich auf einen ethischen Datenplan.

Implementieren Sie dann die Sammlung. Für zeitliche oder kontrollierte Auswertungen benötigen Sie eine klare Ausgangslage. Wenn dies nicht der Fall ist, ziehen Sie die retrospektive Version mit faktenbasierten Fragen in Betracht, um Vorurteile zu reduzieren. Analysieren Sie abschließend die Ergebnisse und übersetzen Sie sie in Entscheidungen: Was soll skaliert, was angepasst und was verworfen werden.

  • Typische Instrumente (wenig und gut auswählen): Kurzbefragungen, Interviews, Fokusgruppen, Überprüfung von Verwaltungsunterlagen und Systemdaten.
  • Nützliche Kennzahlen: effektive Abdeckung, Änderungen der wichtigsten Ergebnisse und, falls zutreffend, Schätzungen des zuordenbaren Effekts.
  • Gute Praktiken: Einwilligung nach Aufklärung, Datenschutz und Rückgabe der Ergebnisse an die beteiligten Personen.

Wie fange ich an? Und wenn der Zug bereits vorbeigefahren ist, was mache ich?

Ideal ist es, von Anfang an zu planen, um eine Ausgangslage zu gewährleisten, aber es ist nie zu spät, daraus zu lernen. Wenn das Projekt bereits läuft, können Sie eine gut gestaltete rückblickende Basislinie neu erstellen. Wenn Sie sich mit Kontrolle entscheiden, stellen Sie sicher, dass Sie über klare Zulassungskriterien und betriebliche Machbarkeit verfügen. Das Wichtigste ist, dass Ihnen nie die Informationen für die Entscheidungsfindung ausgehen.

Was ist keine Folgenabschätzung?

Es handelt sich nicht um eine Checkliste der Aktivitäten oder einen Lieferbericht. Es reicht nicht aus, Workshops oder Veröffentlichungen zu zählen. Entscheidend ist, ob sich etwas Wesentliches geändert hat und inwieweit das Programm diese Änderung bewirkt hat. Daher vermeidet die Differenzierung von Outputs, Ergebnissen und Auswirkungen eine Aufblähung der Erfolge und gleicht die Erwartungen mit tatsächlichen Erkenntnissen ab.

Vertiefen Sie die Planung mit einer soliden Theorie der Veränderung: Was ist Theorie der Veränderung?

Häufig gestellte Fragen

Abschluss

Die Folgenabschätzung ist kein Selbstzweck: Sie ist ein Werkzeug, um bessere Entscheidungen zu treffen und ehrliche Verantwortung zu übernehmen. Definieren Sie die Veränderung, auf die es ankommt, wählen Sie das richtige Maß an Genauigkeit und wandeln Sie Daten in konkrete Verbesserungen um. Möchten Sie einen nützlichen und realistischen Evaluierungsplan für Ihr Programm erstellen? Lass uns reden.