D2. Documenten- en literatuuronderzoek

Bestaande beleidsdocumenten en wetenschappelijke c.q. vakliteratuur zijn hoegenaamd onmisbaar in de voorfase van een evaluatie: ze geven inzicht in de al beschikbare informatie en gegevens ten behoeve van een probleemstelling. Bij de start van een evaluatie wordt dus vrijwel altijd verscheidene documentatie en literatuur verzameld over een beleidsmaatregel. Je kunt grofweg een onderscheid maken in twee soorten te verzamelen bronnen. Ten eerste gaat beleidsuitvoering gepaard met een documentenstroom (bv. begrotingen, beleidsvisie en -nota’s, Kamerbrieven, jaarrapportages en eerdere evaluaties) die een evaluatie kunnen helpen met het beschrijven van de evolutie van een beleidsinstrument, het (re)construeren van een beleidstheorie en het aanscherpen van een probleemstelling. Ten tweede bestaat er een stroom van (wetenschappelijke) evaluatieliteratuur. Het is mogelijk dat een vergelijkbare beleidsmaatregel in een andere context is onderzocht, dat specifieke evaluatiemethoden zijn gebruikt (en die nu ook bruikbaar kunnen zijn) en er bepaalde hypothesen zijn getoetst. Het gaat er hier dus om dat documenten en literatuur gericht verzameld worden (bv. op onderwerp, op periode), bv. via websites van de Tweede Kamer, Rijksoverheid, bibliotheken of wat uitvoeringsinstellingen en beleidsmedewerkers zelf beschikbaar kunnen maken voor een evaluatie (‘grijze literatuur’).

Vrijwel geen enkel beleidsterrein is uitgesloten van de genoemde stroom aan beleidsdocumenten of (wetenschappelijke) literatuur (publicaties, boeken, websites, etc.). Dit betekent ook dat in vrijwel alle evaluaties beleidsdocumenten en literatuur worden verzameld. Evaluaties verwijzen op basis van dit verzamelde materiaal minimaal naar ontwikkelingen in het beleid, argumenten om te kiezen voor een beleidsmaatregel of mogelijke verklaringen voor gevonden effecten. De verzameling van documenten en literatuur ondersteunt zowel ex ante, ex durante als ex post evaluaties.  

Documenten en literatuur vormen een belangrijke bron voor andere dataverzamelingsmethoden in evaluatieonderzoek. Zij kunnen bijvoorbeeld helpen bij het selecteren van onderwerpen die in een survey of een focusgroep aan de orde kunnen komen. Er zijn ook steeds meer mogelijkheden om verzamelde documenten geautomatiseerd te analyseren, bijvoorbeeld in de vorm van text mining. Dit is een vorm van tekstanalyse waar met digitale hulpmiddelen grote hoeveelheden tekstmateriaal worden geanalyseerd, bv. op patronen en woorden. Denk aan het gebruik van bepaalde termen in beleidsdocumenten.

Beleidsdocumenten dragen vaak bij aan de inleidende hoofdstukken van een evaluatierapport over de achtergrond van een evaluatie, alsook het beleidsterrein, de beleidsmaatregel, de doelgroepen en de beleidstheorie. Wetenschappelijke literatuur vindt eerder zijn weg naar eventueel aanscherpingen van een probleemstelling, de keuze voor specifieke onderzoeksmethoden of verklaringen voor het (ontbreken van) causaliteit.

Om de juiste documenten en literatuur te verzamelen, moet er rekening worden gehouden met de volgende eisen:

• Formuleer een duidelijk doel voor het verzamelen van documenten en literatuur: dient het bijvoorbeeld meer inzicht te geven in het probleem of dient het deelvragen van de evaluatie te beantwoorden?
• Bepaal de juiste zoekstrategie met passende zoekcriteria (gebruik van termen, tijdsperiode, etc.) om documenten en literatuur te verzamelen – dit kan een iteratief proces zijn.
• Je kunt veel beleidsdocumenten snel verzamelen met een rondgang onder betrokken collega’s. Dit kost weinig moeite en levert snel een vrij compleet beeld van relevante beleidsdocumenten.
• Bedenk waar je literatuur en eventueel andere documenten gaat verzamelen. Dit kan bijvoorbeeld via online zoekmachines zoals Google Scholar, wetenschappelijke zoekmachines, bibliotheken en databases van instellingen (bv. de Tweede Kamer en de Rijksoverheid) of andere betrouwbare websites.
• Het verzamelen van documenten en literatuur kan tot een lange lijst leiden. Je kunt daarom tijdens het verzamelen al kritisch kijken naar de bruikbaarheid, bijvoorbeeld door te letten op publicatiedatum of de betrouwbaarheid van de bron.

Deze dataverzamelingsmethode kent ook beperkingen:

• Niet alle literatuur is even betrouwbaar, een kritische houding is daarom nodig. Bijkomend punt is dat het publiceren van wetenschappelijke publicaties vaak veel tijd vergt, waardoor het voor kan komen dat ze (te) gedateerd zijn.
• Niet alle beleidsdocumenten en wetenschappelijke literatuur zijn vrij toegankelijk. Hoewel steeds meer wetenschappelijke publicaties beschikbaar zijn via ‘open access’, zijn veel publicaties enkel tegen betaling beschikbaar. Wat betreft beleidsdocumenten geldt dat er veel ‘grijze literatuur’ bestaat die wel beschikbaar is via computers en netwerken binnen beleids- en uitvoeringsinstellingen, maar niet daarbuiten (zoals interne werkdocumenten of vertrouwelijke audits).
• Het verzamelen (en later analyseren) van wetenschappelijke literatuur kan tijdrovend zijn, terwijl het geen garantie geeft op bruikbaarheid voor een evaluatie. De onderzoeken betreffen vaak toch een andere context, vraagstelling of aanpak waardoor zij zich niet één-op-één laten vertalen naar een andere evaluatie. 
• Het verzamelen van de juiste documenten en literatuur kost tijd. Je weet nooit of je belangrijke informatie mist. Het is daarom goed bij verschillende (inhoudelijke) experts te verifiëren of je alle belangrijke stukken in beeld hebt. 

De kosten voor het verzamelen van beleidsdocumenten zijn beperkt, want het zijn documenten die betrokken overheden meestal snel beschikbaar kunnen maken of ze zijn eenvoudig vindbaar via openbare databanken. Het verzamelen van wetenschappelijke literatuur kost doorgaans meer tijd en middelen, omdat ze vaak verspreid zijn over meer collecties en omdat er soms voor betaald moet worden. En dan spreken we nog niet over de tijd die nodig is om verzamelde documenten en literatuur te lezen en te analyseren.