Korte toelichting
In experimentele en quasi-experimentele onderzoeksmethoden probeer je een causaal verband vast te stellen tussen een verandering in een onafhankelijke variabele (bijvoorbeeld inkomensondersteunende maatregelen) en veranderingen in de afhankelijke doelvariabele (vermindering van armoede). Op deze manier kun je het effect van een maatregel aantonen. Concreet betekent dit dat er twee vergelijkbare groepen nodig zijn, waarbij de ene groep (experimentele groep) wel wordt blootgesteld aan een interventie en de andere groep (controlegroep) niet. Het verschil in uitkomst tussen de twee groepen wordt daarmee toegeschreven aan de interventie of de maatregel. Deze methoden kun je toepassen op zowel grote groepen als kleine groepen.
Randomised Controlled Trial
Wanneer het mogelijk is om een zuiver experiment uit te voeren spreken we over een Randomized Controlled Trial (RCT). Het indelen van personen aan een experimentele of controlegroep gebeurt zuiver ofwel willekeurig (random). Een RCT wordt door veel onderzoekers als de meest zuivere methode voor het meten van het effect van een maatregel of interventie gezien. Het is in beleidsonderzoek echter ingewikkeld (en vaak ook niet goed mogelijk) een RCT uit te voeren. In veel gevallen kun je mensen niet uitsluiten van bepaalde beleidsmaatregelen, omdat ze voor iedereen toegankelijk zijn. Wanneer je bijvoorbeeld wilt onderzoeken wat het effect is van een bijstandsuitkering, kun je niet zomaar één groep uitsluiten van een bijstandsuitkering wanneer zij daar recht op hebben. Het gevolg is dat de groep wel- en niet-gebruikers niet zonder meer vergelijkbaar zijn.
Quasi-experimentele methoden
Wanneer een RCT niet haalbaar is, kun je in veel gevallen gebruik maken van een quasi-experiment (ook wel natuurlijk experiment genoemd). Het belangrijkste verschil tussen een experiment en een quasi-experiment is dat de twee groepen niet willekeurig zijn samengesteld, maar op basis van de toepassing van een beleidsmaatregel. Het kan dan bijvoorbeeld gaan om twee groepen van bedrijven, waarvan de experimentele groep een innovatiesubsidie heeft ontvangen, en de controlegroep niet. De controlegroep kan dan bestaan uit bedrijven die de subsidie nooit hebben aangevraagd of bedrijven die de subsidie hebben aangevraagd, maar waarbij de aanvraag afgewezen is. Anders dan bij een RCT zijn deze twee groepen dus niet willekeurig geselecteerd.
Een quasi-experimentele methode heeft dan ook als nadeel dat er ook onderliggende redenen kunnen zijn waarom de ene groep wel en de andere groep geen gebruik heeft gemaakt van de regeling en die van invloed zijn op wat je wilt evalueren. Om de effecten van een maatregel aan te tonen zal je hiervoor zoveel mogelijk moeten corrigeren. Hiervoor kun je econometrische methoden gebruiken. Deze methoden gebruiken gegevens over groepen die wel/niet aan de beleidsmaatregel hebben blootgestaan, en schatten een causaal verband tussen de behandeling en de uitkomsten daarvan. Op deze manier wordt geprobeerd het effect van een maatregel aan te tonen. Voorbeelden hiervan zijn verschillende vormen van regressieanalyse en Difference-in-Differences. Meer uitgebreide informatie is te vinden in het rapport van de commissie Theeuwes: Durf te meten.
Toepassingsgebied
In principe kunnen experimentele en quasi-experimentele methoden in ieder beleidsterrein worden toegepast, maar het is niet eenvoudig om te voldoen aan de methodologische voorwaarden voor (zuiver) experimenteel onderzoek. Deze vorm van onderzoek is vaak eenvoudiger toe te passen in psychologisch en medisch onderzoek dan in de weerbarstige beleidspraktijk. Daar staat tegenover dat experimenteel en quasi-experimenteel onderzoek krachtige onderzoeksmethoden zijn, omdat ze als enige methoden de mogelijkheid bieden om causaliteit eenduidig, ‘hard’ aan te tonen. Het is dan ook niet verwonderlijk dat in een toenemend aantal beleidsdossiers en in evaluatieonderzoek gestreefd wordt naar het waar mogelijk benutten van de mogelijkheden van experimentele evaluatie.
Eisen
Het uitvoeren van experimenten en quasi-experimenten vereist een goede voorbereiding en een zorgvuldige uitvoering. Wanneer dat niet gebeurt, kan het experiment of quasi-experiment worden verstoord en levert dat minder betrouwbare uitkomsten op. Experimenten en quasi-experimenten kennen een aantal basiseisen:
- Het is van belang een geschikte behandel- en controlegroep te selecteren die zoveel als mogelijk naar eigenschappen en context gelijk zijn, en waarbij alleen het wel of niet blootgesteld worden aan de interventie een verschil is. Voor een zuivere experimentele methode is het van belang de interventie willekeurig toe te wijzen aan de deelnemers van het experiment. Idealiter gebeurt dat 'dubbel blind', wat betekent dat noch de onderzoekers, noch de deelnemers op de hoogte zijn van welke deelnemers in de experimentele of in de controlegroep zitten, zodat zij daardoor niet worden beïnvloed.
- Tijdens het experiment moet ervoor worden gezorgd dat alleen de experimentele groep wordt blootgesteld aan de maatregel; de controlegroep wordt juist afgeschermd. Alle andere omstandigheden moeten gelijk zijn.
- Voordat de prikkel wordt toegediend worden alle deelnemers gemeten (nulmeting). Nadat de beleidsmaatregel is toegepast worden alle deelnemers opnieuw gemeten. Om te kunnen bepalen hoe tijdelijk of bestendig de effecten van de maatregel zijn, volgen er meerdere nametingen. Houd ook rekening met de incubatietijd van een maatregel. Veranderingen als gevolg van beleid treden vaak pas op na verloop van tijd.
Beperkingen
In de praktijk blijkt het bij veel beleidsvraagstukken vaak lastig om experimentele methoden toe te passen. Dat komt met name doordat het onmogelijk of ethisch onwenselijk is of in de ogen van de betrokkenen teveel tijd kost om met bepaald beleid en doelgroepen experimenten uit te voeren. Hierdoor worden in de praktijk voor dergelijke vraagstukken veelal quasi-experimenten gebruikt.
Daarnaast is de scope van een dergelijke evaluatie beperkt omdat het zich vaak richt op één enkel effect. De uitkomsten zijn dus weliswaar overtuigend, maar slechts voor een specifieke groep, maatregel of effect relevant. De generalisatie van de uitkomsten is daardoor vaak beperkt. Een experiment wordt meestal voor ex-post evaluaties ingezet omdat het effect achteraf wordt gemeten. Daarnaast kunnen ex-ante experimenten (pilots) met kleine groepen worden uitgevoerd.
Kosten en doorlooptijd
De kosten van (quasi-)experimenten zijn sterk afhankelijk van de omvang en de doorlooptijd. Over het algemeen geldt dat hoe langer de doorlooptijd en hoe groter de omvang van de behandel- en controlegroep, hoe hoger de kosten. De kosten zijn ook afhankelijk van de complexiteit van de analyses en de mate waarin bewerking van data nodig is (of correctie voor datagebreken in de econometrische analyse). Een klein experiment met kleine groepen burgers of bedrijven waarbij het effect redelijk snel zichtbaar is zou voor tien tot vijftig duizend euro binnen enkele maanden uit te voeren moeten zijn. Een groot onderzoek met grote groepen en een lange doorlooptijd van bijvoorbeeld enkele jaren kan miljoenen euro’s kosten.
Literatuur
- Meer dan 300 voorbeelden van gerandomiseerde veldexperimenten zijn te vinden in: Robert F. Boruch, A. John McSweeny, E. Jon Soderstrom (1978). Randomized Field Experiments for Program Planning, Development, and Evaluation: An Illustrative Bibliography. Evaluation Review 2(4): 655-695.
- Knaap, P. van der, V. Pattyn (2020). Beleidsevaluatie in theorie en praktijk, Boom bestuurskunde.
- Commissie Theeuwes (2012). Durf te meten. Eindrapport Expertwerkgroep Effectmeting, Ministerie van EZK, paragraaf 2.4