Um die Auswirkungen zu bewerten, muss man wissen, wie sehr sich Menschen mit dem Programm verändern, und beim Monitoring geht es darum, zu schauen, was jetzt passiert. Das Monitoring prüft ständig, ob die Aktivitäten durchgeführt werden. Folgenabschätzung möchte herausfinden, ob diese Änderungen auf das Programm zurückzuführen sind und nicht nur auf den Lauf der Zeit oder Glück. Zusammen tragen sie dazu bei, klarere Entscheidungen darüber zu treffen, was beibehalten, angepasst und skaliert werden soll.

Wie erfolgt die Nachverfolgung?

Beim Tracking geht es darum, die Sendung anzusehen, während sie läuft, nicht nur am Ende. Die Idee besteht darin, eine einfache Routine zu haben, um festzustellen, ob die Aktivitäten durchgeführt werden und ob Personen teilnehmen.

In der Praxis ist die Überwachung folgendermaßen aufgebaut:

  • Zunächst legen Sie fest, was Sie jedes Mal überprüfen möchten. Zum Beispiel Unterstützung, Nutzung des Dienstes, getätigte Anrufe.
  • Anschließend entscheiden Sie, wie oft Sie die Informationen einsehen möchten (wöchentlich, zweiwöchentlich oder monatlich) und wer für die Aktualisierung der Informationen verantwortlich ist.
  • Abschließend stimmen Sie zu, was passiert, wenn eine Information über das Erwartete hinausgeht. Zum Beispiel, wenn geplante E-Mails nicht gesendet werden, wenn geplante Besuche abgesagt werden, wenn weniger Workshops oder Sitzungen abgehalten werden als geplant

Sie benötigen kein komplexes System, ein einfaches Dashboard mit ein paar Schlüsselkennzahlen und ein kurzes, regelmäßiges Meeting zur Überprüfung dieser Kennzahlen reichen für den Einstieg aus.

Warum ist es wichtig, sie zu kombinieren?

Die alleinige Überwachung ohne Bewertungsrahmen bleibt tendenziell bei der Zählung. Die Evaluierung ohne Nachbereitung hingegen erfolgt spät und mit geringen Anpassungsmöglichkeiten. Ihre Integration ermöglicht:

  • Erkennen Sie Implementierungsfehler innerhalb von Wochen und korrigieren Sie den Kurs.
  • Sehen Sie Ergebnisse (was Zeit braucht, um zu geschehen) und nicht nur Ergebnisse (was sofort passiert).
  • Definieren Sie, wann vom schnellen Lernen zur strengeren Zuschreibung von Änderungen übergegangen werden soll.

Die zentrale Idee ist: Überwachung + Bewertung = sie organisieren das Lernen und vermeiden das Messen um des Messens willen.

Was auf jeder Ebene des Programms gemessen werden soll (und wie detailliert)

Es wird in drei einfachen Gruppen gemessen:

  1. Koordinations- und Beziehungsaktionen: alles, was mit der Bewegung von Akteuren zu tun hat, damit das Programm existiert. Zum Beispiel gesendete E-Mails, Einladungs- und Erinnerungsanrufe, Treffen mit Verbündeten, gehaltene Artikulationsräume, geteilte Dokumente.
  2. Direkte Umsetzungsmaßnahmen sind konkrete Kontakte mit der Bevölkerung oder mit den Teams. Dies zeigt sich beispielsweise in den abgehaltenen Sitzungen, den durchgeführten Besuchen, der Durchführung von Workshops, der bereitgestellten Begleitung, den bereitgestellten Materialien und den durchgeführten Feldaktivitäten.
  3. Informationsverwaltungsaktionen: sind die Schritte, die es ermöglichen, aufzuzeichnen, was im Programm passiert. Zum Beispiel ausgefüllte Formulare, aktualisierte Datenbanken, auf Plattformen hochgeladene Berichte, erstellte und geteilte Protokolle.

Von dort aus können Sie einige einfache Indikatoren aus der zweiten Gruppe (erste Anzeichen von Fortschritten) hinzufügen, zum Beispiel: Personen, die einen Kurs abschließen, mit der Nutzung einer Dienstleistung beginnen oder eine Praxis anwenden, die in der Intervention gefördert wird. Tiefgreifendere Veränderungen werden in der Regel seltener im Rahmen spezifischer Evaluierungsübungen untersucht.

Leitfragen für die Entscheidung, was gemessen werden soll, können sein:

  • Welche Aktivitäten sind so wichtig, dass das Programm nicht funktioniert, wenn sie nicht durchgeführt werden?
  • Welche ersten Anzeichen bei Menschen zeigen uns, dass wir in die richtige Richtung gehen?
  • Welche tiefgreifenderen Veränderungen möchten wir von Zeit zu Zeit überprüfen, um festzustellen, ob die Intervention ihr Versprechen hält?

Die Überwachung konzentriert sich auf die Aktivitäten, die das Programm unterstützen, und auf einige frühe Anzeichen. Bei den Bewertungen wird seltener auf die tieferen Veränderungen im Leben der Menschen eingegangen.

Wie geht das?

Bevor Sie Umfragen ausfüllen, beginnen Sie mit der Theorie der Veränderung, also mit der Roadmap, um das Leben anderer zu verändern (die Schritt-für-Schritt-Anleitung, um dies zu erreichen). Wählen Sie von dort aus einige Schlüsselindikatoren für jede Ebene aus: Outputs, Ergebnisse und Auswirkungen.

In der Praxis sieht der Prozess so aus:

Definieren Sie zunächst, wem Sie dienen (Zielgruppe) und wie viele Personen Sie abdecken möchten. Dann einigen Sie sich auf Indikatoren, die tatsächlich über die Zeit gemessen werden können, ohne dass Menschen ausbrennen, zum Beispiel Programmbesuch, Durchschnittseinkommen, Qualifikationsniveau, Verbleib im Bildungssystem.

Stellen Sie als Nächstes einen einfachen Zeitplan zusammen: eine erste Messung (entweder mit Grundlinie oder eine retrospektive Basislinie), ein paar Pausen während des Programms (z. B. alle drei Monate) und eine Messung am Ende. Außerdem wird festgelegt, wer die Daten erhebt, wie die Einwilligung eingeholt wird und wie diese Daten gespeichert und gepflegt werden.

Zur Überwachung reichen einfache Dashboards mit wenigen Schlüsselkennzahlen (maximal 10) aus. Sie können alle zwei Wochen oder jeden Monat überprüft werden, um festzustellen, ob etwas außer Kontrolle gerät.

Wie oft soll gemessen werden und wie werden diese Messungen verwendet?

Die Häufigkeit hängt davon ab, wie veränderbar der Indikator ist. Es gibt Dinge, die sich in Wochen ändern, und andere, die man erst in Monaten sieht.

Eine praktische Möglichkeit, dies zu organisieren, ist:

  • Wöchentlich oder zweiwöchentlich (Tracking): Beobachten Sie den Vorgang. Wie viele Personen waren anwesend, wie viele nutzen den Service, ob die Zeitpläne eingehalten werden.
  • Monatlich oder zweimonatlich (Überwachung): Überprüfen Sie, ob die ersten Ergebnisse sichtbar sind: Personen, die den Kurs abschließen, Änderungen in den Gewohnheiten, Zufriedenheit mit dem Service.
  • Vierteljährlich oder halbjährlich (Auswirkungsbewertung): Betrachten Sie die Veränderungen bei Ergebnissen und Auswirkungen gelassener. Hier können Sie Vorher-Nachher vergleichen und, wenn Sie Kontrollgruppe haben, Unterschiede zwischen Gruppen.

Bei jeder Überprüfung bleiben drei Entscheidungen offen: Was soll beibehalten werden? Was soll angepasst werden? Was soll pausiert werden? Dokumentieren Sie Änderungen, um sie später in der Auswertung zu interpretieren.

Wie man Daten liest, ohne sich selbst zu täuschen

Das Messen garantiert kein Verständnis, man muss sorgfältig interpretieren. Vermeiden Sie häufige Fehler:

  • Verwechslung von Ergebnissen mit **Auswirkungen: Lieferungen verändern nicht das Leben.
  • Attributänderungen ohne Vergleichsgruppe: Wenn es keine Kontrollgruppe gibt, sprechen Sie über Ergebnisse Ergebnisse und erläutern Sie die Grenzen der Kausalität (erklären Sie, dass Sie nicht sicher sein können, dass alle Änderungen auf das Programm zurückzuführen sind).
  • Vergessen Sie, dass es verschiedene Jahreszeiten gibt: Vergleichen Sie immer ähnliche Monate oder Zeiträume. Beispielsweise sinkt die Besucherzahl während der Feiertage teilweise.
  • Ändern Sie Fragen oder Skalen bei jeder Messung: Wenn Sie die Art und Weise ändern, wie Sie fragen, können Sie das Vorher-Nachher nicht gut vergleichen.
  • Zu oft oder zu spät messen: Wenn Sie ständig nachfragen, ermüden Sie die Leute; Wenn man erst am Ende fragt, kann man nichts mehr anpassen.

Ehrlichkeit beim Lesen von Daten erhöht die Glaubwürdigkeit und vermeidet Versprechen, die Sie nicht halten können.

Brief Case: Von der Verfolgung zur Wirkung

Stellen Sie sich ein Programm vor, das darauf abzielt, die Jugendarbeitslosenquote zu senken. Am Ende einer Kohorte davon zeigt die Auswertung etwas Merkwürdiges: 79 % der Menschen suchen aktiv nach Arbeit (sie senden Lebensläufe, gehen auf Messen, bewerben sich auf Plattformen und LinkedIn), aber nur 18 % schaffen es, eingestellt zu werden. Das heißt, es gibt Bewegung, aber das Ergebnis kommt nicht wie erwartet.

Bei der Überprüfung der Überwachungsmetriken stellten sie fest, dass die praktischen Workshops für Vorstellungsgespräche, die ein Schlüsselelement der Strategie darstellten, aufgrund logistischer Probleme fast nicht durchgeführt wurden (mehrere Sitzungen wurden abgesagt, es gab Änderungen in der Tagesordnung und sie wurden nicht rechtzeitig verschoben usw.). Bei genauerer Betrachtung der Zahlen stellt das Team fest, dass etwa 60 % der Bewerber zwar zu einem Vorstellungsgespräch kamen, diesen Filter aber nicht bestanden haben. Auf dem Papier umfasste die Theorie des Wandels diese Workshops, aber in der Praxis wurden sie nicht wie geplant durchgeführt.

Mit diesen Informationen ist die Entscheidung für die nächste Kohorte klar:

  • Reaktivieren und priorisieren Sie praktische Interview-Workshops als zentralen Teil der Route.
  • Bieten Sie Personen, die das Programm bereits durchlaufen und diese nicht erhalten haben, zusätzliche oder Booster-Versionen an.
  • Passen Sie das Tracking so an, dass die Absage eines wichtigen Workshops schnell erfasst und reagiert wird.

Das Lernen erfolgt direkt, die Auswirkung ist begrenzt, wenn die Ausführung nicht wie erwartet erfolgt. Die Bewertung hilft, das Symptom zu erkennen (junge Menschen, die Arbeit suchen, aber nicht eingestellt werden), aber es ist die Überwachung, die erklärt, was bei der Umsetzung passiert ist und die spezifischen Anpassungen im Programm leitet.

Häufig gestellte Fragen

/ 10

Abschluss

Auswirkungsbewertung und Überwachung sind keine getrennten Übungen: Sie sind Teile desselben Systems. Durch die Überwachung können Sie sehen, wie das Programm läuft, während die Auswertung Ihnen hilft zu verstehen, ob wichtige Änderungen dem Programm zugeschrieben werden können. Zusammen unterstützen diese beiden Praktiken bessere Entscheidungen und tragen dazu bei, das Versprechen von soziale Auswirkungen – das Leben anderer zu verändern – mit klaren, ehrlichen Daten einzulösen. Möchten Sie ein einfaches und nützliches Überwachungs- und Bewertungsschema für Ihr Programm zusammenstellen? Lass uns reden.