B6. Outcome mapping

Outcome Mapping (OM) is een uitgebreide methode met als doel om te verklaren waarom bepaalde duurzame gedragsveranderingen wel of niet tot stand komen bij specifieke doelgroepen. Het vertoont op dit aspect veel overeenkomsten met Theory of Change. In de Theory of Change ligt de nadruk meer op het proces (het bereiken van de veranderingen); bij OM ligt de nadruk meer op de inhoud (het verklaren van de veranderingen). Het onderscheidende kenmerk van OM is dat er achteraf wordt teruggeredeneerd van de (gewenste) uitkomsten van een interventie(proces) naar de factoren die deze uitkomsten verklaren. Het praktische voordeel van deze methode is dat de analyse gericht is op de factoren die er toe doen. Het methodologische nadeel is dat er vanuit een gevolg naar een oorzaak wordt geredeneerd. Dit staat haaks op het wetenschappelijke principe dat er van tevoren altijd een hypothese (beleidstheorie) wordt geformuleerd die later wordt getoetst. Bij OM (en de varianten die daar van zijn afgeleid) wordt er achteraf een verklarende theorie geconstrueerd. Die klopt dus per definitie en is dus niet te falsificeren.

Outcome Mapping (OM) omvat een set van verschillende evaluatie-instrumenten. Deze instrumenten kunnen respectievelijk worden gebruikt om doelgroepen te identificeren, om gedragsveranderingen te monitoren, om de effectiviteit van interventies te meten en om specifieke factoren nader te onderzoeken. De instrumenten kunnen zowel apart (als onderdeel van andere evaluatiemethoden) als in samenhang worden toegepast. Welbeschouwd is er alleen in het laatste geval sprake van OM. Voor de beschrijving van de uitkomsten van een interventie gebruikt OM een standaard stramien. De veranderingen op de kortere termijn – die direct zijn toe te schrijven aan de interventie – worden daarbij ingebed in de autonome doorgaande (demografische, economische, politieke, ecologische) veranderingen op de lange termijn. De uiteindelijke uitkomst van de interventie is een resultaat van de combinatie van deze twee soorten veranderingen.

Outcome Harvesting (OH) is een variant op OM die zich specifiek richt op complexe situaties waarin de relaties tussen oorzaak (factor) en gevolg (uitkomsten) nog grotendeels onbekend zijn. Onderscheidend kenmerk van OH is het open karakter van de methode. Die gaat niet uit van vooraf gedefinieerde uitkomsten, maar definieert naderhand bepaalde veranderingen in het netwerk van relevante actoren als een ‘uitkomst’ (bijvoorbeeld een plotselinge wijziging in de steun voor een beleidsmaatregel) en redeneert vervolgens terug hoe de interventie heeft bijgedragen aan deze specifieke verandering. Deze bijdrage kan direct of indirect, bedoeld of onbedoeld, positief of negatief zijn maar er moet wel altijd een aannemelijk verband bestaan tussen de interventie en de ‘uitkomst’.

Most Significant Change (MSC) is een beknoptere kwalitatieve variant van Outcome Harvesting. De ‘uitkomsten’ die bij MSC ‘geoogst’ worden zijn verhalen waarin persoonlijk relaas wordt gedaan van het effect van de interventie op het leven van de respondent. MSC omschrijft als methode hoe deze verhalen verzameld kunnen worden, hoe de belangrijkste (meest significante) verhalen kunnen worden geselecteerd, en tenslotte wat stakeholders van deze verhalen kunnen leren. MSC heeft veel raakvlakken met de Success Case Method (#insert ref to O12#). Beide methodes richten zich nadrukkelijk op het proces (gedeelde visies, reflectie op doelen) en niet op de resultaten van de oorspronkelijke interventie. Een belangrijk voordeel van de MSC-methode is dat het ook onbedoelde maar waardevolle veranderingen naar voren kan brengen die anders over het hoofd waren gezien. De methode is het meest geschikt in situaties waarbij uitkomsten van tevoren niet goed kunnen worden ingeschat en/of waarbij de stakeholders sterk verschillen van mening over het belang/gewicht van de verschillende uitkomsten.

OM, OH en MSC kennen elk hun eigen specifieke eisen:

• Outcome Mapping (OM) is een relatief complexe methode die om ervaren evaluatoren vraagt die al goed zijn ingevoerd in de methode. In een strak stramien moet er op een logische wijze stapsgewijs van een veranderingen in de beleidsomgeving naar het effect van de interventie worden toegeredeneerd.
• Outcome Harvesting (OH) is met name geschikt voor situaties waarin de inputs, activiteiten, outputs en resultaten niet voldoende specifiek of meetbaar zijn op het moment dat een beleidsmaatregel wordt gepland. Als er vooraf meer informatie bekend is, is OM een geschiktere methode
• Outcome Harvesting (OH) en Most Significant Change (MSC) zijn beide echte participatieve methoden. De bereidheid van direct betrokken om intensief met de evaluator mee te werken, is een noodzakelijke vereiste. Bij OH moeten de stakeholders (de individuen en organisaties die de resultaten van OH gaan gebruiken) in elke fase van de evaluatie worden betrokken (inclusief ontwerp en herontwerp) zodat ze invloed kunnen uitoefenen op het verdere verloop van het onderzoek.
• Bij MSC is de selectie van de verhalen niet willekeurig: net als bij de Success Case Method wordt er doelbewust een bias ingebouwd naar succesverhalen.

De belangrijkste beperking die voor de gehele familie van OM-varianten geldt is al in de inleiding genoemd: het terugredeneren van gevolg naar oorzaak kent methodologische risico's. Daarnaast hebben elk van de drie methoden hun eigen specifieke beperkingen:

• De inzet van Outcome Mapping (OM) vraagt om forse investeringen over langere periode. Het vereist in de meeste gevallen ook een ‘paradigma shift’ van de betrokken organisaties (en het management) over de wijze waarop maatschappelijke veranderingen tot stand (kunnen) komen (alternatieve Theory of Change).
• Het proces van Outcome Harvesting (OH) wordt altijd op maat gemaakt voor de specifieke doelgroepen waar de evaluatie zich op richt. De resultaten van OH zijn daarom niet goed generaliseerbaar. Een beperking die hiermee samenhangt (die ook geldt voor MSC) is dat de data zwaar leunt op de subjectieve oordelen van de respondenten – de uitkomsten zijn dus per definitie gekleurd.
• Most Significant Change (MSC) is niet geschikt als (ex-post) effectmeting: er wordt, juist als tegenwicht tegen de vaak meer negatief ingestoken effectmetingen (‘wat ging er mis?’), expliciet een positieve bias ingebouwd (‘wat ging er goed?’).

Outcome Mapping (OM) is een zeer uitgebreide methode: ze omvat drie fasen en daarbinnen twaalf stappen die gevolgtijdig moeten worden doorlopen. Dit vergt een relatief lange doorlooptijd en een relatief groot budget.

De uitvoering van een MSC-evaluatie vereist altijd meerdere iteraties. Dit brengt een relatief lange doorlooptijd met zich mee. In combinatie met de arbeidsintensieve wijze van dataverzameling kan dit tot aanzienlijke uitvoeringskosten leiden.

Net als Outcome Mapping vereist Outcome Harvesting (OH) veldonderzoek om data te verzamelen. Dit is een relatief arbeidsintensieve en dus dure methode. Van de drie methoden is OH wel de meest efficiënte omdat er in relatief korte tijd en met relatief weinig capaciteit op gerichte wijze een relatief grote hoeveelheid informatie kan worden verzameld.

• Smutylo, T. (2005) Outcome mapping: A method for tracking behavioural changes in development programs. The Institutional Learning and Change (ILAC) Initiative (Brief #7).
• Wilson-Grau, R. Britt, H. (2012) Outcome Harvesting, Ford Foundation (MENA Office).
• INTRAC (2017). Most Significant Change. Oxford: INTRAC.
• Willetts, J.& Crawford, P. (2007). "The most significant lessons about the most significant change technique". Development in Practice. 17 (3): 367–379.

• The World Bank (2014) Cases in Outcome Harvesting: Ten pilot experiences identify new learning from multi-stakeholder projects to improve results. Washington DC: World Bank.
• Booth, D., Balfe, K., Gallagher, R. Kilcullen, G., O’Boyle, S., Tiernan, A. (2018). Learning to make a difference. Christian Aid Ireland’s adaptive programme management in governance, gender, peace building and human rights. London: Overseas Development Institute

De meest voor de hand liggende en relevante dataverzamelingsmethoden zijn: