B11. Mixed methods

In de mixed methods benadering worden kwalitatieve en kwantitatieve methoden op een gerichte manier gecombineerd om een evaluatievraag te beantwoorden. Het idee is dat op deze manier de voordelen van beide typen methoden elkaar kunnen versterken en dat de robuustheid van de conclusies kan worden verhoogd door de resultaten tegen elkaar af te zetten (triangulatie). Kwalitatieve methoden (zoals interviews en participerende observatie) leveren rijke en gedetailleerde maar meer subjectieve en onbepaalde (open-ended) informatie. Kwantitatieve methoden (zoals experimenten en quasi-experimenten) leveren objectieve en exacte (closed-ended) informatie maar deze is vaak steriel en specifiek van aard, met weinig oog voor de context waarin mensen leven en handelen.

Bij multiple methods wordt in de onderzoeksaanpak ook gebruik gemaakt van zowel kwalitatieve als kwantitatieve methoden, maar in tegenstelling tot mixed methods wordt in deze benadering elke onderzoeksvraag apart door een ander type benadering gedekt. Bij mixed methods worden beide typen benaderingen voor dezelfde onderzoeksvraag gebruikt.

Zowel voor mixed methods als voor multiple methods geldt dat de specifieke manier waarop de kwalitatieve en kwantitatieve methoden in het onderzoeksontwerp met elkaar worden gecombineerd, in hoge mate het toepassingsgebied bepaalt. Zowel de gevolgtijdelijkheid (parallel of sequentieel), de volgorde (eerst kwalitatief dan kwantitatief of andersom) als de mate van integratie kunnen in een onderzoeksontwerp verschillen (zie Creswell (2003) voor een overzicht).

De meest gebruikte ontwerpen zijn die waarbij:

• eerst kwalitatieve gegevens worden verzameld die vervolgens kwantitatief worden geanalyseerd (sequential exploratory);
• een klassiek kwantitatief ontwerp met daarbinnen kwalitatieve verdiepingen (concurrent nested);
• parallel kwalitatieve en kwantitatieve gegevens worden verzameld die vervolgens worden gebruikt om de uitkomsten wederzijds te valideren (concurrent triangulation).

Het eerste ontwerp is geschikt om beleidsterreinen te verkennen en het tweede ontwerp om ‘steriele’ kwantitatieve analyses te verrijken met kwalitatieve informatie. Bij het derde ontwerp worden de sterktes van de ene benadering gebruikt om de zwaktes van de andere benadering zoveel mogelijk te mitigeren.

Men kan verschillende methoden niet zonder meer met elkaar combineren. Elke methode komt voort uit een bepaalde onderliggende benadering, zoals de rationeel-analystische benadering voor kwantitatieve en de constructivistische benadering voor kwalitatieve methoden. De mixed methods aanpak vereist dat evaluatieonderzoekers:

• binnen het team openstaan voor beide benaderingen;
• op de hoogte zijn van de specifieke voor- en nadelen van beide benaderingen;
• voldoende kennis en ervaring hebben met methoden uit beide benaderingen heeft om ze gericht met elkaar te kunnen combineren. 

Om onderzoekers bekend te maken met de verschillende methodes/benaderingen/tradities wordt mixed methods daarom soms ook ingezet als een gemeenschappelijke onderneming waarin vanuit meerdere perspectieven tot enkelvoudige waarheden wordt gekomen. De focus ligt op het zo pragmatisch mogelijk beantwoorden van de evaluatievraag en tijdens dat proces komen dan verschillende methoden naar voren.

Een eis van praktische aard is dat voor het beantwoorden van de onderzoeksvraag één integrale dataset benodigd is. Kwalitatieve en kwalitatieve methoden leveren echter verschillende typen data op en om ze te kunnen combineren moet meestal worden gehercodeerd zodat ze aan elkaar kunnen worden gelinkt. Dit vereist specialistische statistische kennis (zie bv. O’Cathain, Murphy, & Nicholl, 2010). Voor het coderen en koppelen van data zijn speciale applicaties ontwikkeld.

Het onderzoeksontwerp van mixed methods is inherent complex. Het is over het algemeen moeilijk om op basis van de uitkomsten van een bepaalde methode de volgende stap te ontwerpen (bv. welk type methode er nodig is) en uit te voeren.

Bij opeenvolgende (sequential) mixed method ontwerpen is de doorlooptijd per definitie langer dan bij enkelvoudige ontwerpen. Bij parallelle (concurrent) ontwerpen kunnen de bevindingen vanuit het ene spoor worden gebruikt om het andere spoor bij te sturen. Specifiek voor het concurrent triangulation ontwerp geldt dat het soms onduidelijk is hoe de eventuele verschillen tussen de uitkomsten moeten worden geïnterpreteerd.

Bij mixed methods worden altijd twee verschillende benaderingen gebruikt. De uitvoering is dus per definitie duurder omdat zowel het verzamelen als het analyseren van data meer tijd kost dan bij enkelvoudige ontwerpen. Overigens zijn deze extra kosten meestal niet gelijk verdeeld over de tijd. Veldstudies kosten bijvoorbeeld vooral meer tijd (en dus budget) in de dataverzamelingsfase en experimenten meer in de ontwerp- en instrumentfase (Brewer & Hunter, 1998). Deze spreiding kan de financiële haalbaarheid vergroten omdat de kosten over verschillende partijen (en budgetten) kunnen worden gespreid (ibid.)

• Brewer, J. and Hunter, A. (1989). Multimethod research: A synthesis of styles. Newbury Park, CA: Sage.
• Creswell, J. W. (2003). Research design: Qualitative, quantitative and mixed methods approaches. London: Sage Publications.
• Bryman, A. (2006). Integrating quantitative and qualitative research: How is it done? Qualitative Research, 6, 97–113.
• O’Cathain, O., Murphy, E., Nicholl, J. (2010) Three techniques for integrating data in mixed methods studies. BMJ 241;341;c4587.
• Patterson, Brandon James. "A mixed methods investigation of leadership and performance in practice based research networks." PhD (Doctor of Philosophy) thesis, University of Iowa, 2013.

Veel gebruikte softwareapplicaties om kwalitatieve en kwantitatieve data te coderen en te combineren:

• Dedoose
• MAXQDA
• Nvivo

Checklist voor gebruik van mixed methods:

• Mixed Methods Appraisal Tool

• Shorten, A., Shorten, B., Kennedy, H.P. (2014). Complexities of choice after prior cesarean: a narrative analysis. Birth 41, 178-184.
• Dialogic (2018). Eindevalutie Valorisatieprogramma.
• Ecorys en Wageningen Economic Research (2019). Beleidsevaluatie Garantstelling Landbouw
• Dialogic, Significant Ape en UNU-Merit (2019). Evaluatie WBSO 2011 - 2017

Alle dataverzamelingsmethodes kunnen voor deze methodiek worden toegepast.