B7. Appreciative inquiry en Success Case method

Korte toelichting

Het kenmerkende karakter van zowel Appreciative inquiry (AI) als de Success Case Methode (SCM) is dat de nadruk in de evaluaties wordt gelegd op de positieve zaken die worden gevonden. AI en SCM zijn ontstaan als reactie op traditionele evaluatiemethoden die inherent een veroordelend karakter hebben (“wat ging er mis?”). Dit werkt vaak demotiverend op de mensen die direct of indirect (als onderdeel van een organisatie of programma) onderwerp van de evaluatie zijn. De bereidheid van organisaties en de mensen binnen de organisaties om hun gedrag aan te passen op basis van de uitkomsten van traditionele evaluties (“leren van de fouten uit het verleden”)  is daardoor vaak laag. Het doel van AI en SCM is om de bereidheid om te leren en te veranderen te verhogen door juist positieve aspecten te belichten (“wat ging er goed?”). De nadruk bij AI en SCM ligt daarom meer op het proces dan op de inhoud. Het zijn in de eerste plaats verandermethoden. Voor een inhoudelijke evaluatie van een organisatie of programma zijn ze minder geschikt.

De basis van AI is een groepsproces waarin vier opeenvolgende stappen worden doorlopen:

  1. Onderzoeken (‘Discover’): identificeren van de positieve aspecten (“wat is er bereikt?”; “wat zijn de prestaties waar men trots op is?”);
  2. Verbeelden (‘Dream’): identificeren van beelden van een wenselijke toekomst;
  3. Vernieuwen (‘Design’): de visie vertalen naar bruikbare (actionable) uitspraken;
  4. Implementeren (‘Destiny’): de uitdagende stellingen werkelijkheid laten worden.

De Success Case Methode (SCM) is een meer verhalende aanpak. Via verhalen wordt geanalyseerd wat de succes- en faalfactoren zijn van een bepaalde beleidsmaatregel (of organisatieverandering). Een onderscheidend kenmerk van SCM is dat men zich richt op de extremen: de verhalen van en over respectievelijk de meest én minst succesvolle gevallen. Dat gaat in twee stappen:

  1. Identificeren van de relevante (meest en minst succesvolle) cases;
  2. Bevragen deelnemers (met behulp van interviews of een survey) om te achterhalen waarom ze zo (on)succesvol zijn, en welke factoren daarbij een rol hebben gespeeld.

Toepassingsgebied

Appreciative inquiry (AI) is ontstaan als een evaluatiemethode (“wat werkt goed en hoe kan het nog beter?”) maar is steeds meer verschoven van een methode naar een principe dat als onderliggend uitgangspunt in tal van evaluatiemethoden kan worden gebruikt. De theorie achter het AI-principe is dat de wereld zoals we die kennen in hoge mate wordt gestuurd door de taal die we gebruiken en het type vragen die we onszelf stellen. Kort door de bocht: positieve vragen scheppen een positief wereldbeeld, negatieve vragen een negatief wereldbeeld. Het AI-principe kan als een tegenwicht worden gezien voor klassieke audit-achtige evaluaties, die vaak (impliciet) een veroordelend karakter hebben (‘wat ging er mis’). Een concreet voorbeeld is om bij beoordelingen van wetenschappers te vragen om de drie publicaties waar zij of hij het meest trots op is.

De Success Case Methode (SCM) is meer berust op resultaten – en vertoont dus meer verwantschap met een effectevaluatie – dan AI maar ook hier ligt de focus meestal op organisatieveranderingen. SCM wordt dan toegepast om het effect van de organisatieverandering te evalueren. Typische (evaluatie) vragen die met behulp van een SCM kunnen worden beantwoord zijn:

  • Wat is er echt gebeurd?
  • Welke resultaten kunnen worden toegeschreven aan de interventie?
  • Wat is de waarde die wordt toegekend aan de resultaten van de interventie?
  • Hoe had de interventie meer effect kunnen hebben gehad?

SCM kan (en wordt) in combinatie met andere onderzoeksmethoden worden toegepast, bijvoorbeeld met quasi-experimenten zoals tijdreeksanalyse.

Eisen

Appreciative inquiry is een interactief groepsproces. Praktisch gezien vereist dit de simultane fysieke deelname van zoveel mogelijk leden van de groep in kwestie. Een belangrijke culturele eis is dat de groep (en de organisatie waar de groep deel van uitmaakt) open moet staan voor de toepassing van participatieve methoden zoals AI, een open cultuur heeft en vernieuwing en creativiteit waardeert.

Daarnaast vraagt Appreciative inquiry om ervaren coaches. Als aanvullende eis geldt dat deze coaches ook op groepsniveau moeten kunnen coachen.

Praktische voorwaarden voor SCM is dat de onderzoeker direct toegang krijgt/kan communiceren met alle werknemers/individuele deelnemers in een programma, dus zonder tussenkomst van leidinggevenden of toezichthouders. Verder moeten zowel de langetermijndoelen van het te evalueren programma als de onderliggende onderdelen van het programma (of interventie) bekend zijn. Onderzoekers moeten ervaren zijn met het verzamelen (zonder bijsturen) en analyseren van rijke data (‘verhalen’).

Beperkingen

SCM en met name AI staan in zekere zin haaks op traditionele evaluatiemethoden. Vooral AI is moeilijk in te passen in het stramien van een meer inhoudelijke analyse. SCM kan wel, als aanvulling, in combinatie met traditionele methoden worden toegepast. Zowel voor AI als voor SCM geldt dat ze niet voldoen aan de methodologische eisen die aan beleidsevaluaties kunnen worden gesteld. Ze leveren immers doelbewust gekleurde uitkomsten op. Ten eerste wordt slechts een deel van de werkelijkheid belicht (alleen de positieve aspecten). Ten tweede is de identificatie en de interpretatie van de resultaten louter gebaseerd op de subjectieve oordelen van de mensen binnen de organisaties of programma’s die worden geëvalueerd. AI en SCM moeten daarom vooral als verandermethoden worden gezien – en ook als zodanig worden ingezet. Voor een inhoudelijke evaluatie van een organisatie of programma zijn deze methoden minder geschikt.

Kosten

Bij AI hangt dat van het aantal groepen en het aantal sessies af. Groepen kunnen niet te groot zijn; bij grotere aantallen zijn dus meerdere ervaren (en dus relatief dure) coaches nodig. Een AI kan in principe beperkt blijven tot een eenmalige sessie – de grootste kosten zitten in het daadwerkelijk implementeren van de toekomstbeelden die in de laatste stap ("destiny") zijn beschreven.

Door middel van SCM kunnen in relatief korte tijd (enkele maanden) en met relatief weinig capaciteit en middelen de kritische succesfactoren van beleidsinterventies gericht achterhaald worden. De kosten hangen grotendeels af van het aantal cases/deelnemers (maar dat is relatief beperkt omdat de focus op de extremen ligt) en de wijze van bevragen. Interviews zijn arbeidsintensief en dus relatief duur, en daarom wordt voor SCM meestal een (korte en simpele) enquête gebruikt.

Literatuur

Voorbeeldstudies

Mogelijke dataverzamelingsmethoden

Voor het uitvoeren van een Appreciative Inquiry of Succes Case Method kunnen verschillende dataverzamelingsmethoden worden toegepast. Een combinatie van deze dataverzamelingsmethodes is mogelijk.

De focus bij het uitvoeren van deze onderzoeksmethodes ligt voornamelijk bij het verzamelen van meer kwalitatieve vormen van data. Er kan echter door middel van enquêtes ook kwantitatieve data worden verzameld. De meest relevante dataverzamelingsmethoden omvatten: