B2. Systematische reviews & meta-analyse

Een systematic review is een specifieke vorm van literatuuronderzoek waarbij op een gestructureerde manier de resultaten van een aantal wetenschappelijke artikelen over een bepaald specifiek onderwerp gericht worden geselecteerd, samengevat en beoordeeld. In tegenstelling tot andere vormen van literatuuronderzoek, die meestal meer verkennend van aard zijn, wordt bij een systematic review van tevoren een gerichte onderzoeksvraag geformuleerd die dan door de review wordt beantwoord. De expliciete verantwoording over de selectie van de publicaties die wel (inclusie) en niet (exclusie) worden meegenomen, en over de wijze waarop de kwaliteit van de publicatie wordt beoordeeld, is het kenmerkende verschil met andere vormen van literatuuronderzoek.

Een meta-analyse is een uitbreiding op de systematic review. Het is een statistische methode om de kwantitatieve uitkomsten van meerdere studies te vergelijken en te combineren.

De systematic review vindt haar oorsprong in de medische wetenschap, maar wordt inmiddels in veel meer domeinen gebruikt. De methode wordt ingezet om een systematisch overzicht te krijgen van de laatste stand van zaken ten aanzien van een bepaald probleem (aandoening) of interventie (behandeling). De systematische review geeft antwoord op een van tevoren gericht geformuleerde vraag. Door de methode te volgen zijn de resultaten van systematische reviews in principe vrij van persoonlijke voorkeuren van de onderzoekers (geen confirmation bias) en zijn ze te repliceren en dus te controleren. Het onderzoeksprotocol, de selectie en beoordeling van artikelen, kan tijdens het onderzoek overigens worden aangepast zolang er maar duidelijk gerapporteerd wordt over deze wijziging.

In de medische wetenschap worden alleen wetenschappelijke publicaties als bronnen gebruikt, en dan meestal publicaties waarin de resultaten van experimenten (medical trials) staan beschreven. Voor beleidsonderzoek wordt meestal een meer diverse set van publicaties gebruikt. Welk type studies wel of niet wordt meegenomen in de systematische review hangt af van de soort onderzoeksvraag. Voor de beoordeling van effectiviteit zijn dit experimenten of quasi-experimenten, voor de beoordeling van risico’s longitudinale en retrospectieve studies, en voor de inventarisatie van meningen surveys.

Een meta-analyse geeft een statistische samenvatting van de gevonden literatuur. Het doel van een meta-analyse is om een gemiddeld effect te berekenen van de onderzochte interventie. Eventueel kan de meta-analyse ook worden gebruikt om de (verstorende) invloed van de specifieke kenmerken van de onderliggende studies (bv. timing van de interventie) te onderzoeken. Deze vorm van meta-analyse heet meta-regressie.

Bij een systematische review is de onderzoeksvraag leidend. De eerste stap is het formuleren van een duidelijk afgebakende (niet te algemene) onderzoeksvraag. Als ezelsbruggetje voor de onderwerpen van de studies die moeten worden beschreven kan hiervoor bijvoorbeeld PICOC (of een variant zoals SPICE) worden gebruikt:

• Populatie (P)
• Interventie (I)
• Controlegroep (C1)
• Outcome (O)
• Context (C2)

Vertaald naar de onderzoeksvraag van een evaluatieonderzoek in het wetenschapsbeleid:

Helpen persoonsgebonden beurzen (I) om onzekere loopbaanperspectieven (C2) onder jonge en talentvolle wetenschappers (P1) te verminderen (O)?

De controlegroep (C1) is dan dezelfde populatie (P) die de interventie (I) – persoonsgebonden beurs – niet hebben ondergaan.

Verdere eisen:

• Om relevante publicaties te vinden moet de onderzoeksvraag vervolgens worden vertaald in een exacte onderzoeksopdracht (query) die op een of meerdere databases (bv. Web of Science, Scopus, Medline, Cochrane etc) wordt uitgevoerd. In de review moeten zowel de namen van deze bronnen worden genoemd als de periode die is onderzocht (bv. 2010-2019) als de taal van de publicaties.
• Nadat alle publicaties uit de database(s) zijn verzameld wordt de relevantie en de methodologische kwaliteit (zoals interne en externe validiteit) van iedere relevante publicatie stuk voor stuk beoordeeld. Voor deze screening wordt een beoordelingsprotocol gebruikt dat van tevoren is opgesteld. Hiervoor wordt meestal gebruik gemaakt van bestaande standaardprotocollen. Welk protocol het meest geschikt is hangt vooral van het type studies af. Voor (quasi-)experimenten wordt het Cochrane protocol het meest gebruikt. Voor case studies wordt weer een ander protocol gebruikt (zie bijvoorbeeld Murad et al., 2017). Specifiek voor beleidsonderzoek is de website van de Campbell Collaboration een goed startpunt.
• Om te voorkomen dat de selectie en analyse van bronnen beïnvloed worden door subjectiviteit van de onderzoeker, moet de beoordeling onafhankelijk door minimaal twee andere onderzoekers worden uitgevoerd. Deze experts moeten vooraf al goed bekend zijn met het onderwerp dat wordt onderzocht.
• Bij een meta-analyse moeten eerst van elke studie de effectgroottes worden beschreven, met een bepaalde betrouwbaarheidsinterval. In de meeste kwantitatieve studies zijn deze maten al berekend. De tweede stap in de meta-analyse is het berekenen van het gemiddelde effect.
• De eisen van repliceerbaarheid en transparantie vragen zowel van systematische reviews als van meta-analyses om een gedegen rapportage. In deze rapportage moeten alle stappen die zijn doorlopen in het onderzoeksproces in detail worden beschreven. Als checklist voor de rapportage kan bijvoorbeeld gebruik worden gemaakt van het PRISMA protocol.

• Een systematic review stelt zware eisen aan de literatuur waarop de review wordt uitgevoerd, zowel in termen van kwantiteit (startset moet >100 relevante publicaties bevatten) als kwaliteit (studies moeten volgens de wetenschappelijke standaard zijn uitgevoerd). Voor effectevaluaties zijn in principe alleen (quasi-)experimenten geschikt. In veel beleidsdomeinen komen dit soort studies slechts weinig voor. Bij de formulering van de onderzoeksvraag moet hier rekening mee worden gehouden. Voor een meta-analyse geldt als aanvullende eis dat de studie kwantitatieve gegevens moet bevatten die op een robuuste manier zijn verzameld en beschreven.
• Bij de selectie van databases (en daarbinnen van journals/kanalen waarin gepubliceerd wordt) moet rekening worden gehouden met het gegeven dat niet alle studies een gelijke kans hebben om te worden gepubliceerd. Zo hebben de meeste auteurs (en de meeste journals) een bias naar significante resultaten (“er is aangetoond dat iets werkt”). Deze publication bias valt deels te ondervangen door een gevarieerde set van bronnen te gebruiken maar wat niet in de brondata zit kan er natuurlijk niet worden uitgehaald. Het is in ieder geval van belang om bewust te zijn van de mogelijke witte vlekken in het onderzoek.
• Wat betreft de relevantie is een uitdaging bij systematic reviews (en nog meer bij meta-analyses) dat er voldoende overlap in de populatie moet zijn, dat wil zeggen de studies die worden geselecteerd moeten zoveel mogelijk op (exact) dezelfde populatie, hetzelfde tijdsbestek en dezelfde context betrekking hebben om een betrouwbare vergelijking mogelijk te maken.

Het uitvoeren van een redelijk omvangrijke systematic review (met 250~500 artikelen in de selectie) vergt maanden. De review moet parallel door drie ervaren experts worden uitgevoerd. Hierbij geldt: hoe beter afgebakend de onderzoeksvraag hoe korter de doorlooptijd. Gemiddeld vergt een systematisch review meer dan 1.000 uur seniorcapaciteit. Bij een bescheiden uurtarief van €80 komt dat neer op vijfenzeventig tot honderdduizend euro.

• Petticrew, M., Roberts., H (2006) Systematic Reviews in the Social Sciences: A Practical Guide. Oxford: Blackwell.
• Booth, A. (2016). Searching for qualitative research for inclusion in systematic reviews: a structured methodological review. Systematic Reviews 5(74).
• Murad, M.H., Sultan, S., Haffar, S., Bazerbachi, F. (2018) Methodological quality and synthesis of case series and case reports. BMJ Evid Based Med. 23(2): 60-6
• Siddaway, A.P., Wood, A.M., Hedges, L.V. (2019). How to Do a Systematic Review: A Best Practice Guide for Conducting and Reporting Narrative Reviews, Meta-Analyses, and Meta-Syntheses. Annual Review of Psychology 70: 747-770.
• Mix 2.0 Meta-Analysis in Excel

Veel voorbeelden van beleidsrelevante systematic reviews/ meta-analyses zijn te vinden in het open access journal Campbell Systematic Reviews. Andere voorbeelden zijn:

• Sarah J Valk, Vanessa Piechotta, Khai Li Chai, Carolyn Doree, Ina Monsef, Erica M Wood, Abigail Lamikanra, Catherine Kimber, Zoe McQuilten, Cynthia So-Osman, Lise J Estcourt, Nicole Skoetz (2020). Convalescent plasma or hyperimmune immunoglobulin for people with COVID‐19: a rapid review.
• Steur, J., Velde, R.A. te, Zebel, S., Boer, P.J. de (2019). De inzet van apps bij de re-integratie van (ex-)gedetineerden. Een systematische literatuur review.
• Mocca, E., Rojon, C., Hernández, J. (2019) Great Expectations? A Systematic Review of the Relationship Between the School-to-Higher Education Transition and Social Mobility, Sociological Spectrum, 39:4, 264-280