B4. Monitoring

Bij monitoring worden gegevens over bijvoorbeeld een organisatie of een beleid periodiek en met een vast patroon verzameld, opgeslagen, verwerkt en gerapporteerd. Met deze methode kun je de bijvoorbeeld de prestaties van een organisatie volgen en bijsturen wanneer dat nodig is. Dit middel biedt doorgaans belangrijke managementinformatie. De basis van deze methode bestaat uit een van tevoren, veelal op basis van doelstellingen vastgestelde set van indicatoren. Een indicator is een meetbare grootheid die een signalerende functie heeft. Wanneer een indicator afwijkt van de vooraf vastgestelde norm, kan dat aanleiding geven voor bijsturing. Monitoring is niet per definitie gebonden aan de inzet van een beleidsmaatregel of doelen van beleid of uitvoering. De gebruikte indicatoren kunnen ook belangrijke contextuele informatie bieden van een beleidsmaatregel. Het aantal roofovervallen en inbraken zijn bijvoorbeeld indicatoren voor criminaliteit, maar om het effect van veiligheidsbeleid op deze indicatoren vast te stellen, is nader evaluatieonderzoek nodig. Monitoring genereert dus belangrijke beleidsinformatie. Echter, om het effect van beleid op de gemonitorde indicatoren van prestaties en/of doelstellingen vast te stellen, is altijd nader evaluatieonderzoek nodig. Monitoring vormt vaak dus de basis of een onderdeel van evaluaties.

Monitoring is een breed toegepaste methodiek en komt bij alle ministeries en in vrijwel alle beleidsterreinen voor. Voor organisaties als het CBS en de planbureaus is monitoring een belangrijke activiteit. Uitvoeringsorganisaties en grote bedrijven gebruiken ook op grote schaal monitoren (zoals interne managementdashboards). Niet alleen ministeries en publieke kennisinstellingen, maar ook marketing- en onderzoeksbureaus, inspecties en toezichthouders en maatschappelijke organisaties ontwikkelen monitoren om bestuur en beleid te voeden met actuele informatie. Monitoring kan een belangrijk hulpmiddel zijn in evaluaties wanneer bij aanvang van bijvoorbeeld een nieuwe beleidsmaatregel afgesproken wordt welke indicatoren gedurende langere tijd periodiek gevolgd gaan worden. De gegevens die op basis van de afgesproken indicatoren worden verzameld, kunnen later worden gebruikt in een evaluatie.

Monitoring hangt nauw samen met ex-durante evaluaties. Monitoring registreert slechts scores en geeft dus nog geen antwoord op de vraag of er een causaal verband bestaat tussen de interventie en veranderingen in de score op een indicator (wat een evaluatie wel beoogt te doen). Dit sluit overigens niet uit dat er indicatoren kunnen zijn die wel direct verband houden met een beleidsmaatregel. Scores op indicatoren kunnen aanleiding zijn om beleid bij te sturen en om te evalueren.

Aan het ontwikkelen en gebruiken van monitoren kunnen enkele belangrijke eisen worden gesteld.

• Indicatoren zijn bij voorkeur kwantitatief en gaan met het oog op een evaluatie gepaard met een streefwaarde of norm zodat later beoordeeld kan worden of de doelstelling is gehaald (los van de vraag in welke mate de beleidsmaatregel daaraan bij heeft gedragen). Het is overigens mogelijk om kwalitatieve indicatoren op te nemen (als er geen kwantitatieve indicatoren voorhanden zijn; bijvoorbeeld wanneer een maatregel beoogt besturen van kleine scholen te professionaliseren en voortgang daarvan beter in woorden uit te drukken is dan in getallen) of mogelijke verklaringen voor schommelingen in scores op te stellen. Dat kan later van pas komen bij een evaluatie.
• Indicatoren zijn met het oog op een evaluatie een operationalisering van beleidsdoelstellingen. Daarbij zullen sommige type van indicatoren doorgaans makkelijker te meten zijn dan andere. Indicatoren die input van een maatregel meten (bv. budget, personeelscapaciteit) of die de prestaties meten (bv. aantal verstrekte subsidies) zijn meestal eenvoudiger meetbaar dan indicatoren die een verandering in de omgeving meten (bv. grotere verkeersveiligheid, afname criminaliteit).
• Het risico bestaat dat het aantal te volgen indicatoren toeneemt, maar dat de vraag gesteld kan worden welk nut dat heeft (‘nice to know’ boven ‘need to know’). Er is dus een balans nodig tussen volledigheid en het overzicht kunnen houden in een monitor.
• Ook moet gelet worden op de kwaliteit van indicatoren: Wat zegt een indicator echt? Hoe wordt een indicator gemeten? Wat is de eenheid van een indicator? Wat is de betrouwbaarheid? Is er een beter alternatief voor deze indicator? 
• Monitoring vraagt om een robuust informatiesysteem. De complexiteit van een dergelijk systeem neemt toe als er meerdere typen datastromen in meerdere formaten van meerdere partijen moeten worden verzameld en gecombineerd, en op een flexibele wijze moeten worden ontsloten (bv. om tussentijds rapportages op maat te kunnen maken).

• Monitoring doet geen uitspraken over de causaliteit. Het is immers geen evaluatiemethode (maar draagt daar in de meeste gevallen dus wel aan bij). Mocht ex-durante evaluatie toch verlangd worden, is het raadzaam te putten uit methoden voor andere evaluaties.
• Monitoring heeft het risico dat wat niet gemeten kan worden ten onrechte minder aandacht krijgt: dat er “tweede keus” indicatoren worden gemeten omdat het ontbreekt aan de gewenste indicatoren of dat indicatoren strategisch worden gekozen (bv. makkelijk haalbaar en meetbaar). Dan bestaat het risico dat het beleid (en later een evaluatie) gebruik moet maken van onvolledige of onjuiste informatie.
• In sommige gevallen ben je binnen een monitor afhankelijk van gegevens die derde partijen aanleveren. Je hebt dan minder garantie dat indicatoren blijvend gemeten worden en hebt minder invloed op eventuele veranderingen van de metingen (andere operationalisering, andere meetmethode, moment van publicatie, gebruik van brondata, etc.). Deze uitdaging wordt urgenter naarmate een monitor meer gebruik maakt van gegevensverzameling door derden en minder eigen onderzoek.
• Indicatoren zijn inherent statisch, zeker omdat ze over een langere periode worden gemeten. Beleid en samenleving zijn echter niet statisch. Het is dus ook raadzaam zo af en toe ook de gekozen indicatoren te herijken.

De kosten van een monitor kunnen sterk uiteenlopen. Sommige monitoren maken gebruik van enkele indicatoren uit kosteloos beschikbare en/of openbare bronnen. Dan kom je voor het verzamelen uit met enkele dagen per meting. Andere monitoren vergen meer maatwerk (nieuwe indicatoren, nieuwe en eigen gegevensverzameling) en dat doet de kosten stijgen, zeker wanneer daar ook een informatiesysteem (met dashboards en visualisaties) en eventueel maatwerk rapportages voor worden gemaakt. De ontwikkelkosten bedragen dan al snel minimaal enkele tienduizenden euro’s, plus jaarlijks enkele duizenden euro’s voor onderhoud van de applicatie. Bij de afweging tussen het handmatig of automatisch verzamelen en verwerken van gegevens speelt uiteraard de frequentie (elke minuut, uur, dag, maand, kwartaal, jaar een meting), de omvang (aantal datastromen en records per stroom) en de structuur (gestructureerd, semi-gestructureerd of ongestructureerd) van de brondata een rol.

• Academische werkplaats Risicojeugd (2018). Monitor Proeftuinen Verkenning Invulling Vrijheidsbeneming Justitiële Jeugd
• Centraal Bureau voor de Statistiek (2020). Monitor Brede Welvaart & Sustainable Development Goals 2020
• Public Procurement Research Centre (2020). Monitor gemeentelijke zorginkoop 2019 – Stand van zaken diensten in het kader van Wmo 2015 en Jeugdwet
• Rijksdienst voor Ondernemend Nederland (2018). Monitoring biobased economy in Nederland 2017

Voor het uitvoeren van monitoring kunnen verschillende dataverzamelingsmethodes worden toegepast. Een combinatie van deze dataverzamelingsmethodes is mogelijk.

Voor het monitoren van een instrument is het verzamelen van verschillende indicatoren over de tijd van belang, met name in de vorm van kwantitatieve data. De volgende dataverzamelingsmethodes zijn hiervoor relevant: