D6. Surveys

Een survey is een systematische uitvraag van vragen met als doel om specifieke informatie op te halen bij een groep van personen, bijvoorbeeld de doelgroep van een specifiek beleidsinstrument. Vaak wordt deze vragenlijst voorgelegd aan een steekproef van respondenten die representatief dienen te zijn aan een grotere populatie in kwestie. Om een goede afspiegeling te garanderen – of te berekenen in hoeverre daarvan wordt afgeweken – heb je een register nodig van de hele populatie, waaruit een aselecte steekproef getrokken kan worden. Surveys hebben als kenmerk dat zij vragen systematisch en gestructureerd in hetzelfde format voorleggen aan iedere respondent. Bij het ontwerpen van het veldwerk voor een survey moet je kiezen hoe je beoogde respondenten wilt benaderen (schriftelijk, telefonisch, via email, face-to-face, via een app, etc.) en hoe je ze wilt bevragen (schriftelijk, telefonisch, etc.). Alle keuzes die je maakt met betrekking tot de benadering en bevraging hebben implicaties voor welke mensen mee (kunnen) doen en welke antwoorden ze geven. Het Total Survey Error perspectief maakt inzichtelijk door welke oorzaken statistieken uit een survey kunnen afwijken van de “ware” antwoorden en kan behulpzaam zijn in het bepalen hoe goed een bepaald survey-ontwerp de evaluator in staat stelt om tot de juiste conclusies te komen.

Je kunt een survey voor veel doeleinden gebruiken, en dat maakt ze een aantrekkelijke methode in beleidsonderzoek. Zij kunnen in vrijwel elk beleidsdomein worden toegepast. Voor kwantitatieve studies is een survey voornamelijk relevant als er weinig statistische of administratieve data beschikbaar is, of als men een beter beeld wil krijgen van de thema’s die onder een doelgroep spelen. Door de gestructureerde opzet van een survey kunnen antwoorden op een survey gemakkelijk (systematisch) met elkaar worden vergeleken. Surveys kunnen daarbij zowel ingezet worden als zelfstandige methode om data te verzamelen als om een breed evaluatieonderzoek te ondersteunen. Enkele veelvoorkomende toepassingen zijn:

• Op basis van een steekproef uit de doelgroep van een beleid kun je nagaan hoe tevreden respondenten zijn over een instrument en welke effect(en) een instrument heeft gehad op hun houding, kennis of gedrag.
• Wanneer je een panel van gebruikers van een maatregel van dezelfde samenstelling periodiek enquêteert, kun je zowel ex ante, ex durante als ex post evaluaties doen (indien paneluitval beperkt blijft).
• In een experimentele evaluatie kun je identieke enquêtevragen stellen aan twee vergelijkbare groepen (een groep die aan de maatregel wordt blootgesteld en een groep die niet aan de maatregel wordt blootgesteld).

Een goede vragenlijst maken en een goed ontwerp voor het survey-veldwerk opzetten, is vakwerk en kost tijd. Het maken van een goede survey wordt vaak onderschat: het kenmerkt zich als een intensieve klus. Zowel het ontwerpen van de survey zelf (zowel de type vragen als de gebruikte verwoording), het bepalen van de groep respondenten, als wijze van dataverzameling en data-analyse vergen veel voorbereiding. Denk hierbij aan de volgende punten:

• Bepaal vooraf goed welke data je uit een survey wilt halen, wie de survey moet invullen en welk kanaal gebruikt wordt voor een survey.
• Wanneer de survey op verschillende momenten in het beleid wordt ingezet, is het van belang de vragenlijst, de steekproeftrekking en analyses goed te archiveren, zodat later in het beleid alles herbruikbaar is (zeker wanneer de uitvoering van de evaluatie door een andere partij gebeurt).
• Een survey wordt meestal ingezet bij een grotere doelgroep en het gebruikte kanaal (schriftelijk, online) moet garant staan dat iedereen (van de steekproef) uit deze doelgroep de vragenlijst kan invullen. De opzet van de enquêtevragenlijst sluit wat betreft lengte, onderwerp en taalgebruik aan bij de belevingswereld van de doelgroep.
• Hou er als evaluator en als opdrachtgever rekening mee dat het opstellen van een goede vragenlijst meestal verschillende aanpassingsronden nodig zijn (en dat vergt tijd).
• Houd als evaluator rekening met wet- en regelgeving op het gebied van persoonsgegevens. Zorg er bovendien voor dat de beoogd respondenten duidelijk weten wat er met de (anonieme) resultaten gebeurt en welke rol zij spelen in het evaluatieonderzoek, maar bijvoorbeeld ook hoe je aan de contactgegevens van de respondent bent gekomen.

Een survey kent ook beperkingen:

• Voor een inzicht in de meningen, beelden en opvattingen van doelgroepen, bijvoorbeeld over hoe een maatregel in de praktijk werkt, zijn interviews en focusgroepen vaak beter geschikt.
• Een survey kan leiden tot meetfouten. Deze fouten kunnen verschillende oorzaken hebben, bijvoorbeeld (1) respondenten verstrekken (expres) onjuiste informatie, (2) respondenten begrijpen de vraag niet waardoor ze verkeerde informatie geven, (3) de respondenten geven onvolledige informatie of vullen de survey onnauwkeurig in, etc. Deze risico’s kun je voorkomen door een nauwkeurige operationalisering van begrippen en het kwalitatief en kwantitatief testen van een survey bij een aantal mogelijke respondenten.
• Een (te) lage of selectieve respons op een survey kan een vertekening opleveren in de verzamelde uitkomsten (mogelijk zijn tevreden gebruikers van een instrument of personen die toevallig meer tijd hebben om een enquête in te vullen, oververtegenwoordigd in de respons) waardoor deze uitkomsten niet representatief zijn voor de populatie waar je een uitspraak over wilt doen. Een weging van de survey-resultaten naar bekende kenmerken van de populatie kan soms de representativiteit verbeteren, maar biedt geen garantie dat de groep die niet heeft meegedaan niet systematisch afwijkt van de groep die wel heeft meegedaan. In alle keuzes rond het ontwerpen van de survey moet dus goed nagedacht worden over maatregelen die de vragenlijst en het surveyontwerp zo goed mogelijk maken (bijvoorbeeld door incentives te geven voor deelname, een goede uitnodigingsbrief te schrijven, de respons goed te monitoren, interviewers te trainen etc.).
• Sommige doelgroepen van specifiek beleid zijn lastig te bereiken met een survey, bijvoorbeeld door taalbarrières (bijvoorbeeld arbeidsmigranten en asielzoekers), omdat ze relatief weinig voorkomen in de samenleving en niet te achterhalen zijn in bevolkingsregisters (bijvoorbeeld LHBT-ers), of door andere factoren (bijvoorbeeld zwerfjongeren, gezinnen met problemen, mensen met een hoge leeftijd, mensen met mentale of fysieke beperkingen).

De kosten van een survey hangen sterk af van het design van een survey dat wordt gekozen. Over het algemeen wordt survey-onderzoek duurder, wanneer de doelgroep moeilijk te bereiken is en naarmate er meer belang wordt gehecht aan een juiste afspiegeling van de populatie. Belangrijke kostenposten bestaan uit het ontwikkelen en testen van een vragenlijst, het benaderen en overtuigen van beoogde deelnemers en het verwerken van de resultaten. Andere kosten betreffen het programmeren, testen, verspreiden en hosten van de vragenlijst (en het respons management). Het kan efficiënt zijn om (delen van) dit werk uit te besteden aan een gespecialiseerd bureau.

• Meer informatie over verschillende doelen van survey-onderzoek
• Meer informatie over het opzetten van surveyonderzoek