Evaluierung außenpolitischer Maßnahmen in fragilen Kontexten

Zusammenfassung

Moderne Außenpolitik verfolgt ihre Ziele zunehmend mit eigenen finanziellen Mitteln für konkrete Projekte. Die Haushaltsmittel für ​„Maßnahmen und Leistungen zur Sicherung von Frieden und Stabilität einschließlich humanitärer Hilfsmaßnahmen“ betragen mittlerweile gut dreimal so viel wie noch vor zehn Jahren. Dadurch werden die Gestaltung, Vergabe, Begleitung, Monitoring und Evaluierung (M&E) von Projekten zu wichtigen Bestandteilen des diplomatischen Handwerks. Die vorliegende Studie analysiert internationale Erfahrungen mit M&E von außenpolitischen Maßnahmen in fragilen Kontexten. Sie konzentriert sich auf die Themenfelder Stabilisierung, humanitäre Hilfe, zivile Krisenprävention und demokratische Transformation sowie auf Erfahrungen aus Großbritannien, der Schweiz, den USA und den Niederlanden. 

Besonderheiten außenpolitischer Maßnahmen in fragilen Kontexten

Die in den meisten Ländern noch recht junge außenpolitische M&E‑Praxis bietet zahlreiche Anknüpfungspunkte für eine kontinuierliche Verbesserung von außenpolitischen Maßnahmen in fragilen Kontexten. Klassische Evaluierungsansätze in der Tradition eines strikt positivistischen Wissenschaftsverständnisses können dieses Verbesserungspotential allerdings nicht realisieren. Dies liegt unter anderem daran, dass die besonderen Herausforderungen außenpolitischer Maßnahmen in fragilen Kontexten methodisch und mit Blick auf angemessene Erfolgskriterien von traditionellen Evaluierungsansätzen nicht hinreichend berücksichtigt werden können. Zu diesen Herausforderungen gehören die Kombination politisch-prozessualer (z.B. Vertrauen in staatliche Institutionen steigern) mit meist untergeordneten sektoralen Zielen (z.B. Schulbildung ausweiten) und die dynamische Veränderlichkeit fragiler Kontexte, mit der die meisten kausalanalytischen Standardansätze von Monitoring und Evaluierung nicht angemessen umgehen können. Diese Grenzen traditioneller Evaluierungsansätze sorgen für verbreitete Ernüchterung mit Evaluierungsergebnissen. In Reaktion auf diese Ernüchterung entstehen international neue, innovative M&E‑Ansätze, die auf die Lern- und Rechenschaftsbedürfnisse außenpolitischer Maßnahmen zugeschnitten sind und die dafür angemessenen Kriterien und Methoden selbstbewusst gestalten.

Anknüpfungspunkte für eine lernorientierte außenpolitische M&E‑Praxis

Die in der Studie identifizierten Ansatzpunkte für eine kontinuierliche Verbesserung der außenpolitischen Arbeit in fragilen Kontexten sind selektiver Natur. Diese Selektivität spiegelt wider, dass die untersuchten Außenministerien noch experimentieren, wie sich M&E in außenpolitische Abläufe und Organisationstraditionen einbetten lassen. Zu den vielversprechendsten Beispielen aus der internationalen Praxis gehören die partizipativen Evaluierungsverfahren der Niederlande, die Lern- und Rechenschaftsanforderungen effektiv zu verbinden suchen, die informelle peer review-Praxis bei der Programmgestaltung in der Schweiz, innovative Monitoringansätze in den USA sowie die konstruktiv-konfliktoffene Lernkultur und Forschungsorientierung in Großbritannien. Die Vielfalt akzeptierter Ansätze, Kriterien und Methoden macht deutlich, dass kein erheblicher Konformitätszwang zu einem (fremd-) bestimmten Ansatz besteht.

Die verbreiteten Evaluierungskriterien des OECD-Entwicklungshilfeausschusses (OECD-DAC-Kriterien: Relevanz, Effektivität, Effizienz, Wirkung und Nachhaltigkeit) sind nur bedingt für die Evaluierung außenpolitischer Maßnahmen in fragilen Kontexten nutzbar. Daher ist es inzwischen in den hier betrachteten Themenfeldern etablierte internationale Praxis, diese Kriterien anzupassen oder eigene Kriterien zu entwickeln. Auf der methodischen Ebene gewinnen dementsprechend neuere perzeptive oder umfrageorientierte Erhebungsmethoden an Bedeutung.

In allen betrachteten Ländern zeigte sich ein Spannungsverhältnis zwischen den zentralen Zielen von M&E: Lernen und Rechenschaftslegung. Rechenschaftsorientierte Evaluierung ist im Regelfall investigativ, oft konfrontativ gestaltet und führt deshalb zu erheblichen Reibungen. Gleichzeitig sind erfolgreiche Lerninstrumente oft methodisch und prozedural so informell, dass sie nicht zur Rechenschaftslegung taugen – weil beispielsweise keine veröffentlichungsfähigen Ergebnisse entstehen. Effektive Kombinationen aus Lern- und Rechenschaftsorientierung sind auf Grundlage der analysierten Erfahrungen aber durchaus möglich, wenn bewusst Schwerpunkte gesetzt werden.

Herausforderungen für die konkrete Ausgestaltung

Die Systematisierung einer spezifischen M&E‑Praxis auf Grundlage der Besonderheiten außenpolitischer Maßnahmen in fragilen Kontexten begegnet mehreren Herausforderungen. So bestehen über den Anpassungsbedarf in Kriterien, Verfahren und Methoden hinaus erhebliche Qualitätsrisiken für Evaluierungen. Diese sind zum Teil in den bestehenden Markt- und Anreizstrukturen für externe Evaluierungsdienstleister begründet, darüber hinaus liegt jedoch ein entscheidender Grund für den Erfolg oder Misserfolg jeder Evaluierung in der Qualität des Pflichtenhefts: In die Formulierung der Evaluierungsfragen, die Anwendung von Erfolgs- oder Evaluierungskriterien und die Steuerung des Evaluierungsprozesses muss erheblicher Aufwand fließen, damit externe Dienstleister zu fairen und nützlichen Ergebnissen kommen können. Deshalb ist die Funktion des Evaluierungsmanagements für eine Systematisierung der außenpolitischen M&E‑Praxis zentral. Darüber hinaus profitiert eine gewinnbringende M&E‑Praxis von einem professionellen Projektmanagement und von einem systematisch-konstruktiven Umgang mit Fehlern und Konflikten.

All das erfordert Zeit und Geld: Geeignete M&E‑Instrumente müssen entwickelt, in Pilotversuchen getestet und behutsam eingeführt werden. Eine gewinnbringende Systematisierung von Monitoring und Evaluierung wird nur dann Aussicht auf Erfolg haben, wenn auch die Möglichkeit zur Investition zusätzlicher Personal- und Sachmittel besteht.

Komplette Studie herunterladen.

…

An English version of this report’s executive summary is available.