Wat is de timing?
Je kunt evalueren als deel van de beleidsvoorbereiding (ex-ante), tijdens de uitvoering (ex-durante) of na afronding van beleid (ex-post).
Ex-post evaluatie
In een ex-post evaluatie kijk je terug naar het beleid dat is uitgevoerd. De vraag die je in een ex-post evaluatie wilt beantwoorden is hoe doeltreffend en/of doelmatig het beleid is geweest. Het beantwoorden van deze vraag is niet altijd eenvoudig. Er moet niet alleen gekeken worden in welke maten de doelstellingen zijn bereikt, maar naar wat de bijdrage hieraan is geweest van het gevoerde beleid. In theorie zou je de gerealiseerde uitkomsten willen vergelijken met de uitkomsten in een wereld waarin de beleidsinterventies niet hebben plaatsgevonden. In de praktijk is dit nooit helemaal mogelijk, maar zijn er wel verschillende evaluatiemethoden die ontwikkeld zijn om dichtbij te komen.
Welk van deze methoden past bij jou evaluatie? Een goed evaluatieontwerp sluit aan bij de evaluatievraag en de onderzoekstechnische mogelijkheden, bijvoorbeeld de beschikbaarheid van data. De keuze van een evaluatiemethode is dus de afweging tussen “wat wil je weten?”, en “wat kun je te weten komen?”.
Bij ex post evaluaties worden vragen gesteld als:
- In welke mate heeft de beleidsinterventie het beoogde effect gecreëerd?
- Hoe aannemelijk is het dat de beleidsinterventie het beoogde effect heeft gehad? En hoe?
- Zijn gemaakte kosten en behaalde resultaten of effecten met elkaar in verhouding geweest?
Doeltreffendheid
De term doeltreffendheid verwijst naar de mate waarin de doelstellingen van beleid gerealiseerd worden. Om te meten in welke mate beleid doeltreffend is geweest moet je eerst scherp hebben wat de doelstellingen van het beleid waren, hoe deze bereikt moeten worden (beleidstheorie), en wat je moet meten om te zien in welke mate doelstellingen worden gerealiseerd (indicatoren). In de voorgaande stappen worden deze toegelicht. Om doeltreffendheid te analyseren zijn verschillende methoden beschikbaar. We delen ze ruwweg op in methoden gericht op attributie, en methoden gericht op contributie.
Attributieve methoden
Attributieve methoden zijn erop gericht om een zo goed mogelijke inschatting te maken van de causale relatie tussen geobserveerde uitkomsten en de beleidsinterventie. Deze methoden kun je gebruiken als je exact wil weten hoe groot de bijdrage van beleid is aan de uitkomsten. Bijvoorbeeld: Hoeveel extra zonnepanelen zijn er dankzij een subsidie aangelegd?
Om de attributie van beleid vast te stellen moet je gebruik maken van experimentele of quasi-experimentele methoden. Deze methoden gebruiken statistische analyses om de uitkomsten door de tijd te vergelijken met een controlegroep. De controlegroep is niet beïnvloed door de beleidsinterventie, waardoor het effect goed ingeschat kan worden. Er zijn een aantal voorwaarden voor het uitvoeren van de methoden:
- Er is voldoende data van goede kwaliteit beschikbaar voor de controlegroep en de interventiegroep.
- Het is mogelijk om een ‘zuivere’ controlegroep samen te stellen. Zuiver betekent dat de controlegroep zo veel mogelijk vergelijkbaar is met de interventiegroep (met uitzondering van de beleidsinterventie).
- De methoden vereisen een groot aantal observatie om statistische ruis te voorkomen. Je kunt de methoden dus niet gebruiken als het beleid maar betrekking heeft op een kleine groep.
Het voordeel van deze methoden is dat ze in staat zijn om het beleidseffect nauwkeurig in te schatten. Het nadeel is echter dat ze weinig inzicht geven in hoe deze effecten bereikt worden. Contributieve methoden, beschreven onder het volgende kopje, zijn daar beter op gericht. Onderstaand staan links naar methoden in databank van onderzoekmethoden:
Contributieve methoden
Contributieve methoden zijn erop gericht op het plausibel maken dat en het verklaren hoe en of beleid heeft bijgedragen aan de doelstellingen (contributie). In tegenstelling tot de attributieve methoden geven contributieve methoden dus inzicht in hoe de effecten tot stand zijn gekomen. De contributieve benadering is geschikt voor het toetsen van meer complexe beleidstheorieën, het verklaren van het beleidseffect (hoe heeft het beleid bijgedragen?), en het evalueren van beleid als er geen goede controlegroep gevonden kan worden.
Om de contributie te analyseren maak je gebruik van theory-based methoden. Dit zijn methoden die erop zijn gericht om de schakels in de beleidstheorie te toetsen. Is er voldoende bewijs dat de causale schakels in de beleidstheorie werken als verwacht, om alternatieve verklaringen uit te sluiten? Met deze methoden kun je conclusies trekken over de plausibiliteit dat het gevoerde beleid een bijdrage heeft geleverd, en over hoe die bijdrage tot stand is gekomen. Voorwaarden voor deze methoden zijn:
- Een goed onderbouwde beleidstheorie, inclusief de gemaakte aannames over de werking van het beleid.
- Kwalitatieve en kwantitatieve informatie die gebruikt kan worden om de schakels te toetsen.
- Het trianguleren van verschillende databronnen om de conclusies ter versterken.
- Het uitsluiten van alternatieve verklaringen voor de geobserveerde uitkomsten.
Onderstaand staan links naar methoden in databank van onderzoekmethoden:
Outcome mapping
Outcome Mapping (OM) is een uitgebreide methode met als doel om te verklaren waarom bepaalde duurzame gedragsveranderingen wel of niet tot stand komen bij specifieke doelgroepen.
Contributie analyse & process tracing
Contribution analysis en process tracing zijn kwalitatieve methoden gericht op het onderzoeken (‘openen’) van de black box van beleid. Ze kunnen inzicht geven in de werking van beleid. Beide methoden worden vaak gebruikt binnen case studies.
Qualitative comparative analysis
Qualitative Comparative Analysis (QCA) is een methode die je gebruikt om te achterhalen waarom een beleidsmaatregel onder bepaalde omstandigheden wél het beoogde resultaat behaalt en onder bepaalde omstandigheden níet. In de praktijk blijkt bijvoorbeeld dat een subsidieprogramma dat erop gericht is om onderzoeksjournalistiek te bevorderen in ontwikkelingslanden in het ene land wel en in het andere land niet succesvol is.
Simulaties
In een simulatie boots je de werkelijkheid na door die werkelijkheid te vereenvoudigen met een model. In dat model is een aantal spelregels beschreven waar de individuele actoren (agents) in het model (bv. mensen of bedrijven) aan moeten voldoen. Vervolgens ‘spelen’ deze actoren het ‘spel’ volgens de regels en ontstaat er een bepaalde uitkomst (bv. een gedeelde consensus over een bepaald probleem, of een evenwicht op een markt in het geval van economische modellen).
Case studies
Een case study is een onderzoeksstrategie waarmee je één of enkele ‘gevallen’ diepgaand bestudeert in hun natuurlijke omgeving, waarbij het geval vaak in ruimte en tijd wordt afgebakend. In beleidsonderzoek zijn bijvoorbeeld complexe besluitvormingsprocessen nogal eens een object van een case study.
Mixed methods
In de 'mixed methods' benadering worden kwalitatieve en kwantitatieve methoden op een gerichte manier gecombineerd om een evaluatievraag te beantwoorden. Het idee is dat op deze manier de voordelen van beide typen methoden elkaar kunnen versterken en dat de robuustheid van de conclusies kan worden verhoogd door de resultaten tegen elkaar af te zetten.
Vind je het lastig te bepalen welke analyses er technisch mogelijk zijn? De kans is groot dat je ervoor kiest de evaluatie uit te besteden. Laat externe partijen je helpen, bijvoorbeeld door deze keuze tussen attributie en contributie tijdens het offertetraject open te laten. Zij kunnen met hun expertise beargumenteren wat überhaupt mogelijk is. Weet wel wat je wil: welke vraag wil je - idealiter - beantwoord zien?
Doelmatigheid
Doelmatigheid gaat over de verhouding tussen de kosten van beleid enerzijds en de prestaties of beoogde effecten ervan anderzijds. Beleid is optimaal doelmatig als de grootst mogelijke prestaties of beoogde effecten zijn bereikt tegen zo laag mogelijke kosten en neveneffecten. De evaluatie van doelmatigheid hangt sterk samen met de evaluatie van doeltreffendheid. Beleid dat niet doeltreffend is, is per definitie niet doelmatig. Echter, niet al het beleid wat doeltreffend is, is ook doelmatig. Soms worden beoogde prestaties geleverd of effecten behaald tegen onverantwoord hoge kosten.
Grote en kleine doelmatigheid
Met een attributieve evaluatiemethode is het mogelijk om in te schatten hoe groot het effect is geweest van de beleidsinterventie. Om de doelmatigheid te bepalen zet je dit effect af tegen de gemaakte kosten. Dit noemen we ook wel de ‘grote’ doelmatigheid, ofwel de doelmatigheid van effectbereik.
Soms is het niet mogelijk om een attributieve evaluatiemethode toe te passen op het gevoerde beleid. De mate van effectbereik dat aan de interventie kan worden toegeschreven is dan niet bekend. Echter, wat vaak wél bekend is zijn de prestaties die geleverd zijn binnen het gevoerde beleid. In andere woorden, soms is het bij de bouw van een nieuwe weg niet vast te stellen welke tijdsbesparing dit oplevert voor reizigers maar wel vast te stellen hoe veel weg er gebouwd is, en voor hoe veel geld. Dit noemen we de ‘kleine’ doelmatigheid. Idealiter onderzoek je in je evaluatie de grote én de kleine doelmatigheid.
Benchmarking
Doelmatigheid, klein of groot, is relatief. Bepalen of de interventie voldoende doelmatig is geweest, doe je het beste door te vergelijken met andere interventies. Dit kunnen interventies zijn die eerder uitgevoerd en geëvalueerd zijn, of alternatieve beleidsopties waarvan de effecten en kosten geschat kunnen worden.