B8. Qualitative comparative analysis

Korte toelichting

Qualitative Comparative Analysis (QCA) is een methode die je gebruikt om te achterhalen waarom een beleidsmaatregel onder bepaalde omstandigheden wél het beoogde resultaat behaalt en onder bepaalde omstandigheden níet. In de praktijk blijkt bijvoorbeeld dat een subsidieprogramma dat erop gericht is om onderzoeksjournalistiek te bevorderen in ontwikkelingslanden in het ene land wel en in het andere land niet succesvol is. Het is daarbij zinvol, zeker bij het voortzetten van het programma, te onderzoeken onder welke voorwaarden een dergelijk subsidieprogramma wel en niet werkt.

QCA gaat ervan uit dat combinaties van condities voldoende aanwezig moeten zijn - of zelfs noodzakelijk zijn - om een bepaalde uitkomst te bereiken. Een uitkomst, in een evaluatiecontext, is doorgaans een beoogd of onbeoogd beleidseffect dat aanwezig of afwezig kan zijn. Anders dan in geval van de meer statistische of econometrische benaderingen waarbij wordt onderzocht of een specifiek instrument leidt tot een bepaald doel, gaat QCA er vanuit dat causaliteit ‘configurationeel’ is: het zijn combinaties van factoren die een uitkomst produceren en niet van slechts een enkele voorwaarde. Dat betekent ook dat verschillende ‘configuraties’ kunnen leiden tot min of meer dezelfde uitkomst (verschillende wegen leiden immers naar Rome). QCA leent zich goed in een complexe beleidsrealiteit.

Om casussen systematisch te kunnen vergelijken, worden deze ‘uitgedrukt’ in een combinatie van de aan- of afwezigheid van condities en een bepaalde uitkomst. In de meer recent ontwikkelde versie van QCA kunnen de aan- of afwezigheid van condities worden uitgedrukt op een continue schaal die loopt van 0 tot 1 (Verweij en Gerrits, 2012). QCA bevindt zich dan ook op het snijvlak van kwalitatieve en kwantitatieve methoden (Pattyn et al. 2015).

Toepassingsgebied

De methode werd oorspronkelijk ontwikkeld voor onderzoeken met tussen de 20 en 35 casussen, waarbij men een aantal casussen heeft dat te klein is om statistische technieken op toe te passen, maar waarbij men anderzijds wel patronen wil ‘ontrafelen’ over casussen heen. In de loop der jaren wordt de techniek niet langer enkel en alleen toegepast in dergelijke zogeheten ‘medium N’ settings, maar ook meer en meer bij een groter aantal casussen.

Casussen kunnen in QCA verschillende vormen aannemen. In een evaluatiesetting zijn casussen typisch contexten waarin een interventie is toegepast. In het eerder vermeld voorbeeld betreffen casussen de onderzoeksjournalistieke producten die tot stand zijn gekomen met een subsidie. Casussen kunnen echter ook bijvoorbeeld individuele personen zijn.

Het type uitspraken en soort bevindingen dat kan worden gedaan op basis van QCA betreft, zoals gesteld, het identificeren van de (combinatie van) condities die noodzakelijk en/of voldoende zijn voor het wel of niet optreden van een bepaalde uitkomst. Noodzakelijke en voldoende voorwaarden komen in pure vorm echter weinig voor. Meer realistisch zijn zogenaamde INUS-voorwaarden. Een INUS-voorwaarde wordt gedefinieerd als een ‘Insufficient but Necessary part of a condition which is itself Unnecessary but Sufficient for the result’.

Eisen

Een aantal basiseisen dienen te worden overwogen, alvorens met QCA aan de slag kan worden gegaan:

  • QCA vertrekt vanuit de systematische vergelijking van casussen, waarbij er een verschil is in uitkomst. Het is met andere woorden niet mogelijk een QCA uit te voeren als geen variatie in effect wordt vastgesteld.
  • QCA vraagt een goed begrip van de uitkomst of effect, en een goede afbakening hiervan alvorens men met de methode aan de slag kan gaan. Elke nieuwe uitkomst die in de methode wordt meegenomen, vereist ook mogelijk andere condities, wat extra werk met zich meebrengt.
  • QCA eist een vrij goede kennis van de casussen. De methode werkt iteratief, waarbij er een sterke dialoog is tussen de theorie en de praktijk. Indien een combinatie van condities onvoldoende verschil maakt tussen casussen waar een effect aanwezig of afwezig is, dien je in staat te zijn te achterhalen welke condities bijvoorbeeld over het hoofd werden gezien, of anders dienden te worden geoordeeld.

Gezien het type resultaten dat QCA oplevert is ook duidelijk dat QCA in eerste instantie geschikt is voor lerend evalueren, eerder dan voor verantwoordingsvraagstukken. De vertrekbasis voor een QCA is immers niet óf beleid werkt, dan wel eerder ‘onder welke condities beleid werkt’.

Beperkingen

Strikt genomen zal QCA enkel ‘associaties’ tussen een conditie en een uitkomst achterhalen. Eenzelfde beperking geldt voor het tijdselement. Alhoewel wordt gewerkt aan verschillende manieren om ‘tijd’ mee te nemen in een QCA-analyse, is het type bevindingen eerder statisch van aard dan dynamisch. Hierom wordt QCA meer en meer gecombineerd met methoden die wel gericht zijn op het openen van de causale blackbox. Met name de combinatie QCA en Process Tracing wordt hiertoe regelmatig gebruikt.

Kosten

Kosten hangen af van de beschikbare data en of men nog extra investeringen wil doen om de bevindingen te interpreteren via andere methoden zoals Process Tracing. Voor QCA-analyse wordt kun je gebruik maken van software die open source en dus gratis beschikbaar is (zie www.compasss.org)

Het eigenlijke toepassen van QCA als techniek is niet zo tijdsintensief; het is wel belangrijk te beseffen dat de methode méér vereist dan een loutere druk op de (software)knop. De meeste tijd kruipt in het bepalen van een gerichte selectie van condities die men wil ontrafelen, het kalibreren (scoren) hiervan, en het interpreteren van de resultaten waarvoor vaak iteratief wordt teruggegaan naar de casussen zelf, en bijkomende analyses plaatsvinden. Een grondige QCA-studie duurt al snel 9 tot 12 maanden, maar dit hangt ook af van de reeds beschikbare data en de eventuele inspanningen die men wil nemen om de bevindingen te interpreteren.

Literatuur

Basiswerken waarin de details van QCA als benadering en techniek worden gegeven:

  • Ragin, C. C. (1987). The comparative method: Moving beyond qualitative and quantitative strategies. Berkeley: University of California Press.
  • Ragin, C. C. (2008). Redesigning social inquiry: Fuzzy sets and beyond. Chicago, IL: University Chicago Press.
  • Rihoux, B., Ragin, C. (2009). Configurational comparative methods. Qualitative comparative analysis (QCA) and related techniques. Thousand Oaks, CA: Sage.
  • Schneider, C. Q., Wagemann, C. (2012). Set-theoretic methods for the social sciences. A guide to qualitative comparative analysis. Cambridge, MA: Cambridge University Press.

Achtergrondinformatie over de methode via www.compasss.org. Deze website toont ook de software die kan worden gehanteerd.

Een uitgebreide handleiding voor het toepassen van de methode in een evaluatiecontext:

Een toegankelijke beschrijving van de methode in het Nederlands:

Voor een bespreking van de potentie en uitdagingen bij het toepassen van de methode op basis van een voorbeeld van een HIVOS-evaluatie:

Mogelijke dataverzamelingsmethoden

De meest voor de hand liggende methoden zijn: