D4. Interviews

In een interview worden de vragen over het te evalueren instrument mondeling gesteld aan een respondent, bijvoorbeeld iemand uit een doelgroep van een instrument of een medewerker van een uitvoeringsorganisatie. Het interview is een populaire kwalitatieve methode in evaluaties en kent verschillende varianten: locatie-gebonden of telefonische gesprekken, individuele of groepsinterviews en gestructureerde of open gesprekken. In tegenstelling tot focusgroepen (waar deelnemers van gedachten wisselen over een specifiek onderwerp) gaat het bij groepsinterviews om het gezamenlijk  beantwoorden van specifieke vragen.

Een belangrijke reden voor het gebruik van deze methode is dat het verdiepende inzichten kan opleveren over de werking en effect van een instrument en omdat het een eenvoudig toe te passen dataverzamelingsmethode is. Het interview kan helpen om, als het in de beginfase van een evaluatie plaatsvindt, in de breedte gegevens over een instrument te verzamelen die de vraagstelling kunnen aanscherpen of eerste inzichten uit het veld opleveren over een maatregel. Later kan een interview dienen om bijvoorbeeld knelpunten in de uitvoering te signaleren, cijfermatige uitkomsten te interpreteren of om dieper inzicht te krijgen in – beweegredenen achter – eventuele gedragsveranderingen bij een doelgroep die samenhangen met het instrument of om onverwachte effecten in beeld te krijgen.

Interviews worden in ex ante, ex durante en ex post evaluaties gebruikt. Een belangrijke reden om met interviews gegevens te verzamelen, is dat zij geschikt zijn om in een ex post evaluatie (kwantitatieve) uitkomsten, bijvoorbeeld over de effectiviteit van een maatregel, te duiden. Waarom zijn bepaalde effecten opgetreden of waarom wijken uitkomsten af van de verwachting? Interviews lenen zich niet als kwalitatieve methode om vast te stellen of bepaalde effecten daadwerkelijk dankzij een beleidsmaatregel zijn opgetreden. Wel kun je interviews in een ex ante evaluatie inzetten om mogelijke effecten van een beleidsmaatregel te verzamelen, en daarmee bijvoorbeeld de vraagstelling of beleidstheorie aan te scherpen.

De kwaliteit van de verzamelde gegevens hangt onder meer af van de geselecteerde respondenten, de mate waarin beoogde respondenten mee willen werken aan een interview en of zij in hun antwoorden volledig open zijn. Het zou niet de eerste keer zijn dat in een evaluatie respondenten een effect positiever voorstellen. Een doelgroep wil bijvoorbeeld graag een subsidie behouden, terwijl een beleidsvoerder graag het succes van een instrument wil benadrukken. Bij interviews kun je doorvragen en antwoorden van andere respondenten toetsen. Interviews zijn bovendien geschikt om inzicht te krijgen in hoe een instrument in de praktijk ervaren wordt. Zijn er onbekende redenen waarom een instrument goed of slecht valt bij een doelgroep? Zeker bij het begin van een evaluatie kan het leerzaam zijn om via verkennende interviews een eerste beeld te vormen. Interviews zijn dus ook een middel om te leren hoe de wereld volgens betrokkenen in elkaar steekt en welke gevolgen dat heeft (gehad) of zal hebben voor de werking van een instrument.

Interviews zijn gebonden aan methodologische regels. Zo mag een interviewer de respondent niet (on)bewust beïnvloeden richting bepaalde antwoorden (controle-effect) en andersom (dit speelt ook bij bijvoorbeeld surveys en focusgroepen), dat een respondent een bepaald beeld oproept bij de interviewer waardoor deze antwoorden in een bepaald kader plaatst (biased-viewpoint-effect). Specifiek voor evaluaties gelden de volgende eisen (en de zwaarte van de eisen zal verschillen per evaluatie):

• De populatie respondenten vertegenwoordigt de belangrijkste stakeholders die bij het ontwerp en uitvoering van het instrument betrokken zijn (beleidsmakers, uitvoerders, doelgroepen, etc.). Eventueel kan wel onderscheid worden gemaakt tussen sleutel informanten met breed overzicht en respondenten die kennis hebben over specifieke aspecten van het instrument.
• De respondenten moeten in een veilige omgeving (bijvoorbeeld thuis) hun oordeel over de werking en het effect van het instrument kunnen geven.
• De interviewer gebruikt een (semi-)gestructureerd interviewprotocol dat de belangrijkste vragen bevat. Dit protocol kan eventueel vooraf gedeeld worden met de respondent. De respondent mag achteraf het interviewverslag controleren.
• De interviewer maakt duidelijk wat er met de resultaten van het gesprek gebeurt (bv. met gebruikmaking van letterlijke citaten of niet) en op welke wijze de respondent vermeld wordt in het evaluatierapport (bv. anoniem of niet).
• De evaluator moet in het evaluatieverslag duidelijk aangeven of resultaten op interviews zijn gebaseerd en hoe ‘stevig’ die resultaten zijn.

Zie voor praktische informatie over interviewen ook de website van de RUG.

Interviews kennen ook beperkingen:

• Bij de samenstelling van een groepsinterview is het nodig om te controleren op factoren die de interactie ongewenst kunnen beïnvloeden (bijvoorbeeld deelname van een leidinggevende bij een groep medewerkers) en daar tijdens de bijeenkomst op te (laten) sturen.
• Interviews zijn een relatief tijdrovende en dus kostbare methode. Zij kunnen veel relevante kwalitatieve gegevens opleveren, maar zijn niet bedoeld (en ook niet geschikt) om causaliteit tussen instrument en effect aan te tonen.
• Er zijn dus logischerwijs grenzen aan het aantal interviews dat je kunt afnemen, veelal bepaald door het budget en de doorlooptijd van een evaluatieonderzoek. Ook vraagt een interview ook tijd van een respondent.

Een interview van 1,5 uur vraagt snel 4 à 6 uur onderzoektijd (voorbereiden, uitvoeren, verslagleggen en analyseren samen). Telefonische en online interviews zijn goedkoper omdat meer met gesloten vragen wordt gewerkt en omdat reistijd vervalt. Groepsinterviews zijn ook iets goedkoper (voor de onderzoeker althans), omdat je per gesprek meer personen tegelijk spreekt. Bedenk dat het geven van interviews ook kosten (tijd) met zich meebrengt.