D1. Analyse van administratieve data

Uitvoeringsinstellingen verzamelen continu gegevens over personen en organisaties die gebruik (willen) maken van een instrument, bijvoorbeeld over de persoonlijke situatie van iemand die een huursubsidie aanvraag of omzet- en winstgegevens van ondernemingen die een beroep willen doen op een MKB-stimuleringsmaatregel. Dankzij automatisering van bedrijfsvoeringprocessen bij uitvoeringsinstellingen worden deze gegevens makkelijker verzameld, opgeslagen, bewerkt en verspreid. Ook kunnen de gegevens makkelijker gekoppeld worden aan andere gegevensbronnen (bv. microbestanden van het CBS, zie: website CBS) en andere dataverzamelingsmethoden waardoor meer en verdiepende analyses en dus evaluaties mogelijk zijn. Uiteraard is het gebruik van dit type gegevens gebonden aan wetgeving (bv. de Algemene Verordening Gegevensbescherming).

Administratieve gegevens (zoals projectadministraties, notulen, overzichten en achtergrondinformatie van aanvragers en deelnemers, etc.) worden meestal niet verzameld met het oog op een evaluatie, maar zij kunnen daarvoor wel nuttig zijn. Vrijwel rond alle beleidsmaatregelen worden bij de uitvoering dit soort administratieve gegevens verzameld. Zij kunnen dus een rol spelen bij evaluaties op alle beleidsterreinen, en dan vooral in ex durante en post evaluaties. Administratieve gegevens zijn ook nuttig bij andere dataverzamelingsmethoden, bijvoorbeeld:

• Steekproeftrekkingen voor surveys, interviews en focusgroepen ondersteunen en/of controleren.
• Gegevens aanleveren om in een surveys met vooraf ingevulde vragen te kunnen werken die een respondent alleen hoeft te controleren (cf. de vooraf ingevulde belastingaangifte).
• Vragenlijsten voor interviews of onderwerpen voor focusgroepen aanscherpen, omdat de administratieve gegevens niet compleet zijn of omdat zij relevante vragen opwerpen voor andere dataverzamelingsmethoden.
• Koppelen van verschillende administratieve bronnen om evaluatievragen te beantwoorden of statistieken te maken.

Tegelijkertijd geven dit soort gegevens ook een blik op hoe een instelling een beleidsmaatregel uitvoert, administreert en tegen welke knelpunten wordt aangelopen. Dit soort gegevens zijn dan ook belangrijk om uitspraken over ‘doelmatigheid’ te doen (bv. hoeveel personeelscapaciteit wordt ingezet of de kwaliteit van de interne informatievoorziening). Bovendien kunnen dit soort gegevens zicht geven op doelgroepenbereik van een maatregel (wie maken er volgens de administratie gebruik van) en interne besluitvorming over de inzet van een instrument (op basis van het interne projectdossier).

• De opslag, bewerking en verspreiding van gegevens moeten voldoen aan wettelijke kaders, zoals de Algemene Verordening Gegevensbescherming.
• Ook voor andere type van verzamelde gegevens kan bescherming gewenst of zelfs verplicht zijn. Denk aan vertrouwelijke gegevens over bedrijfswinsten en -investeringen.
• Bij het ontwikkelen van een beleidsmaatregel kan al nagegaan worden welke gegevens nodig kunnen zijn voor een evaluatie en dus vanaf het begin verzameld moeten worden (en daar afspraken over te maken).
• Bij grotere en complexe evaluaties is het nuttig vooraf een ‘data-assessment’ uit te voeren. Een dergelijk assessment verheldert de beschikbaarheid en kwaliteit van gegevens, geeft aan welke analysemethoden mogelijk zijn (bv. wel of geen experimentele evaluatie) en legt uit tegen welke voorwaarden de gegevens gebruikt kunnen worden.

Er bestaan ook enkele relevante beperkingen aan het verzamelen van administratieve gegevens:

• Het vraagt vaak tijd om (administratieve) gegevens te verzamelen en geschikt te maken voor een evaluatie, want zij worden vaak niet met dat doel verzameld. Bovendien zijn deze gegevens niet altijd compleet en verspreid over verschillende informatiesystemen en eigenaren waardoor zij niet eenvoudig en op tijd beschikbaar te maken zijn voor een evaluatie.
• Wetgeving stelt strikte eisen aan het verzamelen en opslaan van persoonsgegevens, zeker wanneer hergebruik van deze gegevens afwijkt van de oorspronkelijke doeleinden waarvoor deze gegevens zijn verzameld. Een implicatie hiervan is dat gegevens in evaluaties vaak geaggregeerd en geanonimiseerd worden getoond (wat een evaluatie niet in de weg hoeft te staan).
• Administratieve gegevens geven zelden een compleet beeld van het effect van een beleid. Daarvoor moeten ze vaak bewerkt en gekoppeld worden aan (bevindingen uit) andere dataverzamelingsmethoden.

De kosten voor het verzamelen van administratieve gegevens zijn in veel gevallen overzichtelijk, want het zijn gegevens die ‘met een druk op de knop’ beschikbaar kunnen worden gemaakt via de informatiesystemen van bijvoorbeeld een uitvoeringsinstelling. Deze ‘druk op de knop’ is vaak echter niet mogelijk en is er meer inspanning nodig om administratieve gegevens geschikt te maken voor een evaluatie. Eventuele kosten zijn dan het uitvoeren van een ‘data-assessment’ (dat heeft vaak een doorlooptijd van minimaal een week), verzamelde gegevens analyse-klaar maken (denk aan kwaliteitsborging en ‘ontdubbeling’ van gegevens die onterecht vaker in een database voorkomen) of het toegang krijgen tot of koppelen van gegevens aan andere (externe) databronnen, zoals de CBS microdata of andere publiek toegankelijke databestanden (soms moet je wel betalen voor data).