Korte toelichting
Contribution analysis en process tracing zijn kwalitatieve methoden gericht op het onderzoeken (‘openen’) van de black box van beleid. Ze kunnen inzicht geven in de werking van beleid. Beide methoden worden vaak gebruikt binnen case studies.
Contribution analysis (CA) kan meer inzicht geven in de specifieke bijdrage van beleid aan een uitkomst door het beter begrijpen en verklaren van de redenen van bepaalde effecten en de rol van beleid en andere factoren daarbij. Dit doe je door de praktijk te toetsen aan de beleidstheorie, waarbij je kijkt naar de mate waarin (tussentijdse) resultaten zich voordeden, assumpties te onderzoeken, implementatie te controleren, andere beïnvloedende factoren te testen en alternatieve verklaringen uit te sluiten. Als bewijsmateriaal kan zowel gebruik worden gemaakt van kwalitatieve als kwantitatieve data.
Process tracing (PT) start ook met het opstellen van hypothesen over de oorzaak en gevolg uit de beleidstheorie, waarbij voor elke hypothese beschreven wordt welke processen en mechanismen zich zouden voordoen indien de hypothese klopt. Ook wordt beschreven welke gegevens en welk bewijs je hiervoor kan vinden. Door een combinatie van kwantitatieve en kwalitatieve dataverzamelingsmethoden leg je vervolgens het proces en de resultaten van de (werking van de) praktijk bloot en toets je of de theorie al dan niet strookt met de praktijk. Ook alternatieve hypothesen worden geformuleerd en kunnen worden getest.
Het belangrijkste verschil tussen beide methoden is dat het toetsen van hypothesen bij process tracing meer gericht is op het vinden van ‘de juiste’ verklaring waarom beleid in een bepaalde context wel of niet werkt, terwijl contribution analysis meer gericht is op het relatieve belang van verschillende verklaringen.
Een uitdaging bij het uitvoeren van contribution analysis is het iteratieve karakter. Het contributieverhaal dient te worden verfijnd op basis van extra bewijsmateriaal tot er een plausibele argumentatie is ontwikkeld, waarin de betrokken stakeholders zich kunnen vinden.
Toepassingsgebied
Beide methoden zijn geschikt om inzicht te krijgen in de hoe de causale mechanismen van beleid wel of niet werken. Ze worden vaak toegepast in case study-onderzoek en in onderzoek waarin wordt gekeken naar de omstandigheden waaronder beleid werkt, bijvoorbeeld door gebruik te maken van een QCA. De kwalitatieve methoden kunnen ook worden ingezet als aanvulling op kwantitatief onderzoek naar de omvang van (gemiddelde) effecten van beleid (doorverwijzen naar fiches over quasi-experimenteel onderzoek en mixed-methods).
Eisen
Een gedetailleerde beleidstheorie is vereist voor toepassing van deze methode; deze kan eventueel gereconstrueerd worden voordat je de evaluatie uitvoert. Kennis van kwalitatieve onderzoeksmethoden is eveneens noodzakelijk. Verder wordt idealiter al bewijs verzameld tijdens de implementatie van het beleid.
Beperkingen
Contribution analysis en process tracing geven inzicht in hoe en waarom bepaalde effecten van beleid tot stand komen, maar geven geen inzicht in de (gemiddelde) omvang van deze effecten of de omstandigheden waaronder beleid werkt. De mate waarin conclusies theoretisch generaliseerbaar zijn (mate waarin bevindingen ook gelden voor niet-onderzochte gevallen binnen de reikwijdte van de theorie) hangt af van de onderbouwing van de casusselectie, de plausibiliteit van de argumentatie en de benadering in process tracing die wordt gehanteerd. Voor process tracing geldt evenwel dat je vaak keuzes moet maken in het aantal mechanismen dat je wilt testen, omwille van de beheersbaarheid van het onderzoek.
Kosten en doorlooptijd
Kosten hangen vooral af van de hoeveelheid bewijs dat je verzamelt over de plausibiliteit van de argumentatie, of de werking van bepaalde mechanismen. Ook de hoeveelheid mechanismen die je wil ontrafelen en toetsen, en de hoeveelheid primaire data die je hiervoor nieuw wil vergaren, zal de doorlooptijd en kosten bepalen. Tot slot is ook de mate waarin je stakeholders wil betrekken bij de identificatie van het contributieverhaal of -proces een bepalende factor voor de kostprijs.
Literatuur
Over process tracing specifiek:
- Wadeson, A., Bernardo, M., Aston, R. (2020) Process Tracing as a Practical Evaluation Method: Comparative Learning from Six Evaluations
- Bennett, A., & Checkel, J.T. (Eds.). (2015). Process tracing. Cambridge University Press.
- Beach, D. and Pedersen, R.B. (2012) Process-Tracing Methods: Foundations and Guidelines, Ann Arbor MI: University of Michigan Press
- Loyens, K. (2016) Een gestructureerde vorm van analyse in onderzoek naar besluitvorming. Kwalon, Tijdschrijft voor kwalitatief onderzoek.
- Schmitt, J., & Beach, D. (2015). The contribution of process tracing to theory-based evaluations of complex aid instruments. Evaluation, 21(4), 429–447.
Over contribution analysis specifiek:
- BetterEvaluation.org: Contribution Analysis
- Delahais, T. and Toulemonde, J. (2012) ‘Applying Contribution Analysis: Lessons from Five Years of Practice’, Evaluation 18.3: 281–93,
- Lemire ST, Nielsen SB and Dybdal L (2012) Making contribution analysis work: a practical framework for handling influencing factors and alternative explanations. Evaluation 18: 294–309.
Over process tracing en contribution analysis: