Vraagstelling bepalen
Het doel van deze stap is om te bepalen welke onderzoeksvraag (of vragen) leidend zullen zijn voor de evaluatie. Deze vraagstelling zal samenhangen met de beleidstheorie. De beleidstheorie is het geheel van aannames en verwachte causale verbanden die aan een beleid ten grondslag liggen. De beleidstheorie toont welke instrumenten (en tegen welke kosten) ingezet worden om bepaalde prestaties en doelen te bereiken. De vraagstelling kan zich richten op de vraag of een beleid doeltreffend of doelmatig is geweest (of zal zijn), gegeven de doelen die centraal staan in de beleidstheorie. De beleidstheorie biedt daarnaast een basis voor de vraag waarom het beleid wel of niet werkt. Welke aannames uit de beleidstheorie blijken in de praktijk wel of niet te kloppen? Welke causale verbanden worden daardoor gestut of verstoord?
1. Inzicht krijgen in de beleidstheorie
De beleidstheorie omvat een beschrijving van het beleid, de doelen van dit beleid en de middelen en activiteiten om deze doelen te bereiken, inclusief hun onderlinge samenhang. De beleidstheorie vormt daarmee het geheel van causale verbanden tussen het gevoerde beleid en de gevolgen ervan. De kern van de beleidstheorie wordt meestal weergegeven in de vorm van een pijlenschema waarin de relaties tussen middelen (inputs), activiteiten (throughputs), prestaties (outputs) en het beoogde effect (outcomes) visueel worden getoond in de vorm van een doelenboom. Hieronder staat een voorbeeld van een doelenboom met betrekking op milieubeleid. Daarnaast kan in de beleidstheorie ook worden aangegeven op basis van welke gronden beleidsinterventie legitiem is, bijvoorbeeld door te beschrijven welke knelpunten of problemen er zijn die om overheidsingrijpen vragen (en welke indicaties er zijn dat dergelijke overheidsingrijpen effectief kan zijn).
Een beleidstheorie is in eerste instantie gericht op een beschrijving en analyse van de beleidsdoelen en -instrumenten. Je kunt echter ook een bredere beleidstheorie opstellen. Een dergelijke brede beleidstheorie visualiseert ook de onbedoelde gevolgen van het beleid – neveneffecten – en factoren buiten de beleidsinstrumenten zelf die het doelbereik beïnvloeden – externe effecten:
- Neveneffecten: een beleid kan andere effecten veroorzaken die buiten de formele beleidsdoelstellingen vallen. Sommige neveneffecten worden vooraf ingecalculeerd (een verhoging van de brandstofaccijns leidt in grensregio’s tot meer tankbeurten in het buitenland), terwijl andere neveneffecten onverwacht kunnen optreden (aanleg van een nieuwe snelweg leidt tot meer inbraken in aanliggende gemeenten).
- Externe factoren: doelbereiking kan versterkt of verzwakt worden door factoren die buiten het bereik van het beleid liggen. De mate waarin kleine ondernemingen een beroep kunnen doen op externe kredietverlening hangt bijvoorbeeld niet alleen af van het ondernemingsbeleid van de overheid, maar ook van de rentestand, de conjunctuur, het beleid van kredietverstrekkers en de werking van de financieringsmarkt in het algemeen.
Begrippen die nauw verwant zijn aan de beleidstheorie zijn Logical Framework Approach en Theory of Change.
Wat als er geen beleidstheorie is beschreven?
Idealiter is een beleidstheorie beschreven in een beleidsnota. In de praktijk is dit echter vaak niet (expliciet) gebeurd, en is de beschrijving summier (alleen doelstellingen en middelen genoemd, zonder onderlinge samenhang te tonen) of zijn de doelstellingen gedurende de uitvoering gewijzigd (wat op zichzelf niet verkeerd hoeft te zijn). De volgende vragen kunnen helpen om inzicht te krijgen welke situatie van toepassing is:
- Identificeer de doelen van, activiteiten binnen en middelen voor een beleidsmaatregel (of beleidsmaatregelen) en het probleem dat het beleid moet verhelpen. Meestal komt dit neer op het verzamelen van relevante documenten (beleidsnota’s, begrotingen, programmaplannen, etc.) waarin de ambities van het beleid, de inzet van beleidsinstrumenten worden aangekondigd en duidelijk wordt gemaakt waarom dit beleid een maatschappelijk probleem zal verhelpen.
- Analyseer of de doelen, activiteiten en middelen volledig beschreven zijn en welke relaties er tussen deze aspecten worden verondersteld. Op basis van het verzamelde materiaal kan een aanzet worden gemaakt voor een doelenboom (mogelijk staat deze ook al in één van de verzamelde documenten). Er bestaan drie typen relaties:
- Finale relaties: relaties tussen doelen en middelen;
- Causale relaties: relaties tussen oorzaken en gevolgen;
- Normatieve relaties: relaties tussen beginselen of waarden en de normen die in het beleid worden gebruikt.
- Verzamel indien nodig aanvullende gegevens over (relaties tussen) doelen, activiteiten en middelen. Mogelijk zijn niet alle aspecten volledig beschreven, zijn er tijdens de looptijd van de maatregel nieuwe doelen gesteld of zijn middelen veranderd (dat kan ook blijken uit de voorgaande stappen) of zijn sommige aspecten nog niet beschreven. In het laatste geval zijn interviews met beleidsmakers relevant.
2. Type onderzoeksvraag kiezen
Binnen elk evaluatieonderzoek staat een hoofdvraag of opdracht centraal. In de kern kunnen we evaluatievragen en -opdrachten samenvatten in drie categorieën (zie ook de figuur onderaan de pagina):
- Effectevaluatie. Hierbij kijken we naar de mate waarin het beleid effect heeft of zal hebben. De causaliteitsvraag staat centraal: In welke mate leiden de beleidsprestaties tot de effecten? Verder gaat het er hier ook om na te gaan voor wie en onder welke omstandigheden het beleid effectief is geweest en hoe betrokkenen het beleid ervaren en beoordelen.
- Doelmatigheidsevaluatie. Hierbij kijken we naar de verhouding tussen de kosten en de opbrengsten van het beleid of de uitvoering. We maken onderscheid tussen (a) de kleine doelmatigheid die betrekking heeft op de relatie tussen middelen en prestaties en (b) de grote doelmatigheid die over de relatie tussen middelen en effecten gaat. Meer informatie over de bijbehorende evaluatievragen kun je vinden bij het onderdeel Doelmatigheidsevaluaties in de keuzehulp.
- Verklarende evaluatie. In dit type evaluatie zijn we op zoek naar verklaringen voor de doelmatigheid en de doeltreffendheid van het beleid. Dit helpt ook bij het bepalen van mogelijkheden om de doelmatigheid en doeltreffendheid te verhogen. Ook hebben we oog voor een verklaring van de nietbeoogde effecten van het beleid. Gezamenlijk geeft dit een beeld van waarom bepaalde uitkomsten wel of niet worden gerealiseerd, en hoe dit eventueel anders zou kunnen. Voor de bijbehorende evaluatievragen: zie onderdeel Verklarende evaluaties in de keuzehulp.
Effect
- Hoeveel zonnepanelen zijn er met hulp van de regeling gefinancierd?
- Wat was de additionaliteit van de regeling? Dat wil zeggen: welk deel van de gefinancierde zonnepanelen waren zonder de subsidie niet geïnstalleerd?
Doelmatigheid
- Wat zijn de gemiddelde kosten geweest van de subsidie per additioneel geïnstalleerd zonnepaneel?
- Welke voorwaarden zijn er in de regeling ingebouwd om doelmatigheid te vergroten? Hebben deze gewerkt?
Verklarend
- Welke factoren bepaalden wanneer een door de subsidie gefinancierd paneel wel of niet additioneel was?
- Is het mogelijk om de regeling aan te scherpen op basis van deze factoren?