D3. Analyse van geaggregeerde statistische data en data uit beleidsmonitoren

Planbureaus, statistische bureaus (CBS), universiteiten, kennisinstellingen en marktpartijen verzamelen gegevens over een breed scala aan beleidsterreinen en maatschappelijke ontwikkelingen. Deze gegevens vinden hun weg in openbare statistische bestanden (bijvoorbeeld CBS Statline) en allerlei monitors die de stand in een economische of maatschappelijke sector weergeven aan de hand van een set van periodiek gemeten indicatoren (bv. export, CO2-uitstoot). In tegenstelling tot administratieve data wordt deze data expliciet verzameld voor onderzoeks- of monitoringsdoeleinden. Ter ondersteuning van een evaluatie is het gebruikelijk om deze openbare bronnen te verzamelen en na te gaan of zij bruikbaar zijn. Dat gebeurt natuurlijk ook al via het verzamelen van documenten en literatuur, maar in deze methode worden uitdrukkelijk kwantitatieve gegevens verzameld. Het helpt hier om gericht te verzamelen, dat wil zeggen dat op basis van de kennis van een beleidsterrein, de evaluatievragen of een uitgewerkte beleidstheorie een verkenning wordt gedaan van beschikbare data. Sommige statistische bronnen en monitoren gelden als een soort van standaard in een beleidsterrein, en dat impliceert dat een evaluatieonderzoek al bijna niet voorbij kan gaan aan gebruik van of verwijzingen naar deze bronnen.

Het toepassingsgebied is groot. Er zijn geen beleidsterreinen uitgesloten. Vrijwel alle departementen en uitvoeringsinstellingen maken gebruik van statistische data uit deze databronnen en publiceren deze – vaak in de vorm van monitoren en dashboards – op internet. Een andere mogelijkheid van deze gegevens is dat zij de context van het beleid en het beleidsinstrument kunnen kwantificeren, en daarmee aanvullende factoren kunnen presenteren die van invloed kunnen zijn op bijvoorbeeld de effectiviteit van een instrument. Bij het evalueren van bijvoorbeeld een landelijke maatregel om arbeidsparticipatie te vergroten, kan het van belang zijn om de doeltreffendheid van de maatregel te plaatsen in de context van meer algemeen-economische indicatoren over bijvoorbeeld de gemiddelde productie van de Nederlandse industrie of het producentenvertrouwen.

Aan het verzamelen van openbare statistische bronnen en monitoren kunnen we enkele eisen stellen aan de manier waarop ze gebruikt worden:

• De te verzamelen gegevens uit deze openbare bronnen komen bij voorkeur overeen met de periode waarop een evaluatie zich richt.
• De gegevens zijn bij voorkeur voorzien van een duidelijke en complete beschrijving van de gebruikte dataverzamelingsmethode (definitie van begrippen, populatie, steekproef, etc.). Onderzoeksinstellingen en planbureaus voldoen doorgaans aan deze wens.
• Om data te kunnen bewerken - wat voor analyse vaak noodzakelijk is - is het zaak om over de brondata te kunnen beschikken (in plaats van alleen een cijfer, tabel of grafiek). Dat biedt ook de mogelijkheid om de uitkomsten te presenteren in een vorm die beter past bij een specifieke evaluatie.

Aan het gebruik van deze bronnen kleven ook enkele beperkingen:

• Deze openbare gegevens worden meestal niet verzameld voor een specifieke evaluatie, maar om de ontwikkelingen in een beleidsterrein in kaart te brengen. Dat betekent dat gepresenteerde gegevens en indicatoren vanuit het oogpunt van een evaluatie mogelijk niet de meest ideale indicatoren zijn. Voorts zullen veranderingen in de scores zonder aanvullende analyse nauwelijks te herleiden zijn tot de inzet van de te evalueren maatregel. Ze bieden weinig basis om een uitspraak te doen over de causaliteit.
• Je maakt je in de evaluatie afhankelijk van de gegevens die derden verzamelen en verstrekken. De invloed op welke gegevens beschikbaar komen (en wanneer) is noodzakelijkerwijs beperkt. Sommige gegevens worden jarenlang op dezelfde manier verzameld en ontsloten waardoor maatwerk uitgesloten is (of kostbaar is).
• Niet alle openbare bronnen geven duidelijk aan hoe gegevens verzameld zijn en dat maakt het lastig om in te schatten hoe betrouwbaar deze gegevens zijn. Voor CBS-data geldt dat niet.

De kosten van het verkrijgen van deze gegevens zijn doorgaans beperkt. Ze zijn immers openbaar en worden vaak kosteloos verstrekt door publieke organisaties (maar soms moet er ook voor betaald worden). Eventuele kosten hangen samen met zoeken naar, analyseren en/of bewerken van deze gegevens. Dan moet al snel aan een aantal dagen worden gedacht, en dat kan oplopen naarmate er meer kwaliteitsbewerkingen en analyseslagen nodig zijn.