Wat is de timing?
Je kunt evalueren als deel van de beleidsvoorbereiding (ex-ante), tijdens de uitvoering (ex-durante) of na afronding van beleid (ex-post).
Ex-ante evaluaties
Ex ante onderzoek/evaluatie vindt plaats voorafgaand aan de invoering van beleid. Deze vorm van onderzoek speelt een rol bij de totstandkoming van beleid, aan het begin van de beleidsvorming. Vaak worden één of meerdere beleidsopties onderzocht op mogelijke gevolgen en op uitvoerbaarheid.
Bij een evaluatie aan het begin van het beleid probeer je aan de hand van aannames en beschikbare data op voorhand een inschatting te maken van de te verwachten effecten. Er zijn verschillende methoden om een ex-ante evaluatie uit te voeren.
Welk van deze methoden past bij jou evaluatie? Een goed evaluatieontwerp sluit aan bij de evaluatievraag en de onderzoekstechnische mogelijkheden, bijvoorbeeld de beschikbaarheid van data. De keuze van een evaluatiemethode is dus de afweging tussen “wat wil je weten?”, en “wat kun je te weten komen?”.
1. Effectinventarisatie
Iedere ex ante evaluatie begint met het in kaart brengen van de (mogelijke) gevolgen van beleidsopties. Hierbij kun je ook eventuele verplichte toetsen meenemen.
2. Afweging
Welke effecten neem je mee in je beoordeling van beleidsopties? Hoe weeg je deze effecten tegen elkaar af? Hiervoor zijn verschillende methoden.
Bij ex-ante evaluaties worden vragen gesteld als:
- Wat is het beste instrument om tot doeltreffend en doelmatig beleid te komen?
- Wat zijn de voor- en nadelen van verschillende beleidsopties?
- Wat zijn de kosten en baten van deze beleidsopties?
- Welke optie is het beste in termen van doeltreffendheid en doelmatigheid?
1. Effectinventarisatie
De eerste stap in het beoordelen van de te vergelijken beleidsopties is het inventariseren van effecten. Tot welke bedoelde én onbedoelde effecten leiden de verschillende instrumenten? Effectinventarisatie is ook een standaard onderdeel van het Beleidskompas. In het Beleidskompas zijn daarvoor hulpmiddelen te vinden, zoals de Gevolgenscan. Daarnaast biedt het Beleidskompas een overzicht van verplichte toetsen die betrekking hebben op de gevolgen van beleid, zoals bijvoorbeeld de toets op regeldruk en genderneutraliteit.
Je kunt de (mogelijke) effecten van beleidsopties op twee manieren inventariseren. Ten eerste kun je logische aannames maken vanuit de beleidstheorie (zie stap 2 'Beleidstheorie en vraagstelling'). Je kunt daarbij gebruik maken van gedragsinzichten. Aanvullend kun je de waarschijnlijkheid en grootte van je aangenomen effecten schatten op basis van wetenschappelijke methoden, waarvan er een aantal hieronder genoemd staan. Ten slotte kun je er ook voor kiezen deze aannames te toetsen in de praktijk door middel van een pilot of experiment. Je voert de beleidsoptie dan eerst tijdelijk en/of in het klein uit en doorloopt eerst een cyclus van monitoring en ex post evaluatie voordat je definitief kiest voor invoering.
Systematische reviews & meta-analyse
Een systematische review is een specifieke vorm van literatuuronderzoek waarbij op een gestructureerde manier de resultaten van een aantal wetenschappelijke artikelen over een bepaald specifiek onderwerp gericht worden geselecteerd, samengevat en beoordeeld. Een meta-analyse is een uitbreiding op de systematic review. Het is een statistische methode om de kwantitatieve uitkomsten van meerdere studies te vergelijken en te combineren.
Simulaties
In een simulatie boots je de werkelijkheid na door die werkelijkheid te vereenvoudigen met een model. In dat model is een aantal spelregels beschreven waar de individuele actoren (agents) in het model (bv. mensen of bedrijven) aan moeten voldoen. Vervolgens ‘spelen’ deze actoren het ‘spel’ volgens de regels en ontstaat er een bepaalde uitkomst (bv. een gedeelde consensus over een bepaald probleem, of een evenwicht op een markt in het geval van economische modellen).
2. Afweging
Alleen een overzicht van de gevolgen van beleid is nog niet voldoende om te bepalen welke beleidsoptie passend is. Hiervoor moeten gevolgen tegen elkaar worden afgewogen. Als de ene optie leidt tot meer effect maar de andere goedkoper is, welke is dan het beste? Hoe je dat doet, hangt af van je evaluatievraag. Wat is binnen jouw beleidscontext de belangrijkste afweging?
De financiële afweging
Soms hebben de financiële gevolgen van beleid de focus. Bijvoorbeeld omdat het beleid alleen doorgang kan vinden als het netto budgetneutraal is. Of als er de optie voorligt om een project aan het bedrijfsleven te laten.
De kosteneffectiviteitsafweging
Soms heeft kosteneffectiviteit de prioriteit. Bijvoorbeeld wanneer er een belangrijk beleidsdoel behaald moet worden, maar haalbaarheid en betaalbaarheid belangrijke zorgen zijn.
De integrale afweging
Soms wil je alle effecten van je uitgewerkte beleidsopties tegen elkaar afwegen. De centrale vraag is: welke beleidsoptie levert het meeste maatschappelijke waarde? Om deze vraag te beantwoorden kun je twee methoden gebruiken: