Stap 4: Uitvoeren onderzoek

Nu je het evaluatieontwerp achter de rug hebt, kun je nadenken over de uitvoering van het onderzoek. De start van een evaluatie vraagt doorgaans nog enkele voorbereidende werkzaamheden. Zo kun je kiezen een evaluatie zelf uit te voeren of om dit uit te besteden aan een externe partij. Ook dien je een evaluatie organisatorisch in te richten, bijvoorbeeld door een begeleidingscommissie in te stellen. Tot slot is het van belang om een gedetailleerde planning op te stellen.

1. Stel een startnotitie op

In de startnotitie worden de context, scope, beleidstheorie, evaluatievragen en aanpak uitgewerkt. De resultaten van stap 1 t/m 3 in deze Toolbox vormen dus de basis van de startnotitie.

  • Klik hier voor een template voor de startnotitie

2. Uitvoering

Je kunt een evaluatie uitbesteden bij een extern bureau of zelf uitvoeren. Beide opties hebben voor- en nadelen.

Uitbesteden

Het voordeel van uitbesteden is dat je specialistische kennis over evaluatiemethoden in kunt huren die niet aanwezig is binnen het eigen departement. Door de uitvoering meer op afstand te doen is daarnaast de onafhankelijkheid beter geborgd. Vooral bij evaluaties die primair een verantwoordend karakter hebben is het goed om een externe partij te betrekken. Een externe partij is echter vaak niet betrokken geweest bij de uitvoering, waardoor de kennis uit het veld soms minder kan zijn. Anderzijds kan een 'frisse blik' soms ook goed zijn. Ten slotte zijn met inhuur kosten gemoeid. Hou er daarnaast rekening mee dat een uitbesteding vraagt om een goede en intensieve begeleiding om het onderzoek op te zetten en in goede banen te leiden. Er is dus nog steeds inzet nodig van eigen mensen.

Zelf uitvoeren

Vooral bij evaluaties die primair een lerend karakter hebben kan het goed zijn deze in eigen beheer uit te voeren. Wanneer je een evaluatie in eigen beheer uitvoert is het gemakkelijker om (tussentijds) lessen te trekken uit de bevindingen. Ook is er per definitie kennis van het werkveld aanwezig. Verder ben je flexibeler in de uitvoering, aangezien er geen contract nodig is zoals bij een extern bureau. Dit maakt het eenvoudiger om op basis van tussentijdse resultaten de aanpak (licht) aan te passen. Houd rekening met het feit dat een evaluatie gericht op verantwoording om een onafhankelijke uitvoering vraagt. Als je als beleidsmedewerker mede verantwoordelijk bent voor de uitvoering van het te evalueren beleid, is het minder gebruikelijk dat je dat beleid ook evalueert. Creëer dus extra waarborgen voor onafhankelijkheid. Zorg er tot slot voor dat er voldoende evaluatiedeskundigheid is.

Borging onafhankelijkheid

Het is belangrijk dat de onafhankelijkheid van de evaluatie is geborgd. Dit geldt zowel voor evaluaties in eigen beheer, als voor externe evaluaties.

  • Wat is onafhankelijkheid? De uitvoerders van het evaluatieonderzoek moeten in staat worden gesteld om vrijelijk en zonder inmenging het evaluatieonderzoek uit te voeren en erover te rapporteren. Dit houdt in dat bewindspersonen en (niet uitvoerende) ambtenaren geen dwingende aanwijzingen geven over aannames, bevindingen, conclusies of de formulering daarvan. Zij zijn dus ook niet verantwoordelijk voor wat er in het evaluatierapport gezegd wordt.
  • Hoe borg ik onafhankelijkheid? De onafhankelijkheid kan worden geborgd door bijvoorbeeld het instellen van een begeleidingscommissie (zie onder). Ook kunnen opzet, tussenproduct(en) en het afgeronde evaluatieonderzoek aan een of meerdere onafhankelijke deskundige(n) worden voorgelegd voor een externe toets op validiteit en betrouwbaarheid.
Begeleidingscommissie

Een onafhankelijke begeleidingscommissie is doorgaans verantwoordelijk voor de kwaliteitsbewaking en voortgang van de evaluatie. Een begeleidingscommissie bevat leden met inhoudelijke en methodologische kennis op het gebied van de onderhavige evaluatie. Vaak zijn dit academici, maar ook bijvoorbeeld medewerkers/directeuren van andere departementen worden gevraagd voor een begeleidingscommissie. De secretariaatsrol kan door de opdrachtgever of de evaluator worden vervuld.

De commissie moet op tijd worden samengesteld en er moet een voorzitter worden gekozen. Meestal komt een begeleidingscommissie bijeen vanaf de start van een evaluatie – bij een uitbestede evaluatie dus nadat een externe evaluator is gekozen. Het is echter ook mogelijk dat een commissie al eerder werkzaamheden verricht, bijvoorbeeld bij het opstellen van de evaluatievraag en de selectie van een onderzoeksbureau.

RPE vereisten aan een evaluatie

De regeling periodiek evaluatieonderzoek (RPE) bevat kwaliteitseisen voor de uitvoering van een evaluatie. Met een goede voorbereiding de Toolbox voldoe je bijna vanzelf aan deze vereisten. Zorg er wel tijdens de uitvoering en rapportage voor dat de eisen niet worden vergeten. Hou er rekening mee dat de RPE voor sommige typen evaluaties aanvullende vereisten met zich meebrengt (bijvoorbeeld periodieke rapportages).

De RPE vereisten voor evaluatieonderzoek zijn:

  • het is passend bij de fase en context waarin het beleid zich bevindt en sluit aan op de kenmerken en de inzichtbehoefte van het beleid dat wordt onderzocht
  • het maakt duidelijk welk beleid wordt onderzocht over welke periode, wat de doelen en de beleidstheorie zijn en welke financiële gevolgen het beleid heeft voor de rijksbegroting;
  • het maakt duidelijk welke evaluatievragen centraal staan om inzicht te geven in de (voorwaarden voor) doeltreffendheid en de doelmatigheid van het beleid. Departementen worden aangemoedigd om bij het evalueren rekening te houden met publieke waarde(n) in den brede;
  • de in het evaluatieonderzoek gebruikte methoden sluiten aan op de evaluatievragen;
  • de conclusies en aanbevelingen worden onderbouwd door onderliggende bevindingen;
  • het evaluatieonderzoek verantwoordt de gebruikte evaluatiemethoden, als wel de validiteit en betrouwbaarheid van de gegenereerde resultaten;
  • waar relevant geeft het inzicht in de mogelijkheden en plannen voor nader onderzoek naar de (voorwaarden voor) doeltreffendheid en doelmatigheid van het beleid;
  • het rapport beschrijft de wijze waarop de onafhankelijkheid van het evaluatieonderzoek is gewaarborgd.

3. Goed opdrachtgeverschap

Een offerteaanvraag opstellen

Wanneer je een evaluatie uitbesteed is het belangrijk goed te weten wat je van je potentiële opdrachtnemers vraagt. De Handleiding offerteaanvragen voor beleidsevaluaties geeft kort de do’s en don’ts weer van het opstellen van een offerteaanvraag.

Maak een gedetailleerde planning

Het uitvoeren van een evaluatie vraagt om een gedegen planning. Bij de planning kan het beste worden teruggerekend vanaf het moment dat de uitkomsten van de evaluatie beschikbaar moeten zijn. Dit kun je koppelen aan het moment waarop het evaluatierapport aan de Tweede Kamer zal worden aangeboden. Het is aan te raden om alle betrokkenen, zoals de leden van begeleidingscommissie, al vroeg te informeren over de termijnen, zodat zij rekening kunnen houden met de (voorbereiding op) overleg- en reviewmomenten. Bij het uitbesteden dien je ook rekening te houden met het aanbesteden van de werkzaamheden. Deze stap kent een doorlooptijd van enkele weken (tot enkele maanden in het geval van een Europese aanbesteding).

Koppel terug tijdens de uitvoering

Het is tijdens de uitvoering van de evaluatie van belang om zicht te houden op de voortgang en de (tussentijdse) resultaten. Maak hiertoe afspraken met de uitvoerder van de evaluatie en – indien van toepassing – de begeleidingscommissie. Bij de start van de evaluatie maken de uitvoerder en de begeleidingscommissie afspraken over momenten waarop terugkoppeling plaatsvindt. Dit biedt mogelijkheden om grip te houden op de planning en om eventueel bij te sturen op basis van tussentijdse resultaten, bijvoorbeeld om meer medewerking te vragen in het veld wanneer dat nodig is of om de doorlooptijd van een enquête te verlengen om de respons te verzamelen.