Een evaluatie staat nooit op zichzelf. Er is altijd sprake van een bepaalde context waarin de evaluatie wordt uitgevoerd. Om deze context goed te begrijpen, is het goed om voorafgaand aan de evaluatie over een aantal vragen na te denken. Dit helpt je om later de juiste keuzes te maken bij het opstellen van het onderzoeksplan. Het nadenken is voor nu het doel, de antwoorden worden pas relevant in de keuzehulp.
1. Wat ga ik evalueren?
Wat is het onderwerp van de evaluatie? Is er een standaardformaat beschikbaar?
2. Op welk moment ga ik evaluaren?
Je kunt evalueren als deel van de beleidsvoorbereiding, tijdens de uitvoering of na afronding van beleid.
3. Wat is het doel van mijn evaluatie?
Je kunt evalueren om te leren, om verantwoording af te leggen, en/of te voldoen aan verplichtingen.
4. Voor wie voer ik de evaluatie uit?
Wie zijn de stakeholders? Wie moet er gebruik kunnen maken van de evaluatie?
5. Hoeveel tijd en middelen zijn er beschikbaar?
Wat is het budget? Hoe veel capaciteit is vrij?
6. Wat weten we al?
Welke gegevens en informatie zijn er al beschikbaar? Welke informatie moet nog verzameld worden?
1. Wat ga ik evalueren?
De opzet van een evaluatie hangt onder meer af van het type beleidsinstrument, bijvoorbeeld een individuele regeling, een instituut, of een project. Of gaat het juist om een breder programma, een systeemvraagstuk of een mix aan beleidsmaatregelen? Soms zijn er evaluatieonderzoeken die een voorgeschreven format vormen. Een belangrijk voorbeeld daarvan is de Periodieke Rapportage, een verplicht periodiek syntheseonderzoek. Zie daarvoor de handreiking Periodieke Rapportage.
2. Op welk moment ga ik evalueren?
De beleidscyclus kent verschillende fasen. In al deze fasen van beleid kun je evalueren. In welke fase je evalueert heeft implicaties voor de onderzoeksmogelijkheden en de informatiebronnen die benut kunnen worden:
- Bij een evaluatie ter voorbereiding van een beleidsinterventie (ex-ante) probeer je aan de hand van aannames en beschikbare data of literatuur op voorhand een inschatting te maken van de te verwachten effecten. Een ex-ante evaluatie kan daarmee dienen om beleidskeuzes te onderbouwen.
- Een evaluatie tijdens de uitvoering van een beleidsinterventie (ex-durante) maakt het mogelijk beleid bij te sturen op basis van kennis en ervaringen tot dan toe. Vaak wordt hierbij gebruik gemaakt van monitoring van de inzet van de met het beleid gemoeide middelen en de gerealiseerde prestaties.
- Terugkijken op de uitkomsten van beleid doe we via een ex-post evaluatie. Ex-post evaluaties zijn vaak primair gericht op verantwoording over de gerealiseerde doeltreffendheid en doelmatigheid, maar worden regelmatig gecombineerd met het identificeren van verbeteringen voor toekomstig beleid. Tijdens de uitvoering verzamelde monitoringsdata kan gebruikt worden voor het voeden van de analyse.
Doordat veel beleid een lange doorlooptijd kent en verschillende wijzigingen doorgaat is er niet altijd een scherp onderscheid tussen ex-ante, ex-durante en ex-post; op het moment dat beleid een nieuw regime in gaat (als gevolg van aanpassingen) kan een ex-post evaluatie dienen om lessen uit het verleden te benutten, terwijl een ex-ante evaluatie geschikt is om te analyseren hoe de beleidsaanpassingen zouden kunnen uitpakken.
3. Wat is het doel van mijn evaluatie?
Een evaluatie kent doorgaans drie doelen:
- Leren. Door de werking van beleid in beeld te brengen leg je de basis voor geïnformeerde beleidskeuzes. Nieuw beleid is gebaseerd op feiten of goed onderbouwde en uitgewerkte aannames, bestaand beleid kan worden bijgestuurd en afgerond beleid kan dienen als positief of negatief voorbeeld voor de toekomst.
- Verantwoorden. Door de resultaten van beleid te toetsen draag je verantwoording af aan stakeholders, het parlement en de belastingbetaler. Door vooraf een gestructureerde inschatting te maken van de gevolgen van beleid kun je een rationele en toetsbare onderbouwing van beleidskeuzes bieden aan het parlement, conform artikel 3.1 van de Comptabiliteitswet.
- Aan verplichtingen voldoen. Vaak zijn evaluaties wettelijk verplicht – bijvoorbeeld vanuit de Algemene Wet Bestuursrecht, de Compatibiliteitswet of de Regeling periodiek evaluatieonderzoek – of het gevolg van specifieke toezeggingen aan het parlement, het Ministerie van Financiën of een andere partij. De vereisten waar de evaluatie aan moet voldoen zijn bij een verplichting vaak al deels uitgewerkt. Raadpleeg in dit soort gevallen dus de onderliggende wet of regeling en vraag bij het verantwoordelijke departement na of er een handleiding is die helpt hieraan te voldoen. De Regeling periodiek evaluatieonderzoek schrijft een aantal kwaliteitseisen voor die gelden voor evaluatieonderzoek in den brede. Voor de vereisten gesteld aan doorlichtingen van agentschappen en zelfstandige bestuursorganen (ZBO’s), zie respectievelijk de Regeling agentschappen en de Kaderwet zelfstandige bestuursorganen.
4. Voor wie voer ik de evaluatie uit?
Een evaluatie raakt verschillende betrokkenen: de doelgroep van een beleid (burgers, bedrijven), de uitvoerders van een beleid (uitvoeringsinstellingen), de (politiek) verantwoordelijken voor een beleid (minister), de volksvertegenwoordiging die kader stelt en controleert (Tweede Kamer) en mogelijk andere organisaties. Denk daarom na over wie de doelgroep is voor de resultaten van de evaluatie. Is dit bijvoorbeeld een interne doelgroep om het beleid te gaan verbeteren? Dient de evaluatie als input voor politieke besluitvorming? Wil de Tweede Kamer geïnformeerd worden over de werking en effecten? Of wil je ook de doelgroep van het beleid (burgers, ondernemers, etc.) informeren over de uitkomsten?
5. Hoeveel tijd en middelen zijn er beschikbaar?
De beschikbare tijd en middelen zijn van belang voor het realiseren van de evaluatie. Je bepaalt eerst de inhoudelijk best passende evaluatie-aanpak (zie stap 3) en bekijkt dan of de tijd en middelen toereikend zijn. Indien dit niet het geval is, kies je voor de hierna best passende evaluatie-aanpak.
Veel evaluaties staan gepland in de Strategische Evaluatie Agenda (SEA) van het departement. De planning van evaluaties op de SEA zorgt ervoor dat resultaten op tijd beschikbaar zijn – om te voldoen aan de onderliggende verplichting, of om meegenomen te kunnen worden in relevante besluitvorming. Houd de planning uit de SEA zo veel mogelijk aan.
Evaluaties worden soms intern uitgevoerd, soms uitbesteed. Bij het uitbesteden van de evaluatie draag je een deel van de keuzes inzake de evaluatie over aan de externe partij. Desalniettemin is het van belang ook zelf de opzet, planning en het gewenste eindresultaat goed doordacht te hebben. Zo voer middels heldere communicatie en realistische verwachtingen goed opdrachtgeverschap uit. Meer informatie over goed opdrachtgeverschap is te vinden in Stap 4.
6. Wat weten we al, en wat weten we nog niet?
Zijn er al inzichten en gegevens beschikbaar? Dit zijn belangrijke vragen om te voorkomen dat je opnieuw het wiel uitvindt. Als er bijvoorbeeld over het beleidsinstrument of -terrein al veel studies liggen, kun je ervoor kiezen om als evaluatie een syntheseonderzoek in te zetten, bijvoorbeeld door middel van een systematic review (zie ook stap 3). Vooral bij grote evaluaties wordt vooraf regelmatig een ‘data-assessment’ gedaan: er wordt in kaart gebracht welke data beschikbaar zijn, en wat voor type evaluatiemethoden mogelijk zijn op basis van deze data. Kan er bijvoorbeeld een controlegroep samengesteld worden? Vooraf inzichtelijk maken wat je al weet helpt ook bij het afbakenen en toespitsen van je evaluatie. Welke evaluatievraag levert de meeste nieuwe informatie op?