B10. Lerend evalueren

Korte toelichting

Lerend evalueren is een geschikte methode om kennis te genereren over welke beleidsinstrumenten wanneer (= waar en onder welke omstandigheden) werken. Het maakt idealiter gezamenlijk leren over beleid mogelijk. Bij lerend evalueren wordt niet alleen ex ante of ex post geëvalueerd, maar zijn het beleid en de evaluatie als het ware met elkaar verbonden. Lerend evalueren wordt dan ook vooral ex durante gebruikt. Beleid kan hierdoor gaandeweg steeds worden bijgestuurd en worden verbeterd. Met lerend evalueren komen evalueren, leren en beleid maken samen: tijdens de beleidsontwikkeling en/of -uitvoering werken evaluatoren en beleidsbetrokkenen samen om met het evaluatieonderzoek bruikbare en betekenisvolle inzichten aan te dragen voor het lopende beleidsproces.

Deze inzichten kunnen gaan over verbeterpunten voor beleid, heroverweging van kaders en uitgangspunten van beleid en over knelpunten of systeembarrières die in de beleidspraktijk worden ervaren. Omdat een lerende evaluatie wordt afgestemd op specifieke vragen van beleidsbetrokkenen. Binnen lerend evalueren wordt gebruik gemaakt van verschillende onderzoeksmethoden en is er vaak sprake van een mixed methods aanpak, waarbij kwalitatieve en kwantitatieve benaderingen worden gecombineerd om kennis te genereren en te leren over de realisatie van de opgave en de werking van het beleid.

Een lerende evaluatie kan helpen om kennis te ontwikkelen, verklaringen voor de werking en toepassing voor de verschillende beleidsbetrokkenen inzichtelijk te maken, en de beleidstheorie nader in te vullen.

Toepassingsgebied

Lerend evalueren is niet beperkt tot bepaalde beleidssectoren. Wel zien we dat lerend evalueren vooral toegevoegde waarde heeft bij complexe maatschappelijke vraagstukken,  zoals klimaatadaptatie, duurzame voedselproductie en vergrijzing, waarbij de behoefte aan leren groot is. Er is kennis nodig over de opgave en daarnaast over de (mogelijke) effectiviteit en werking van, vaak innovatieve en experimentele, beleidsmaatregelen. Overigens kun je lerend evalueren ook prima toepassen om al wat langer bestaand ‘getemd’ beleid.

Ook wanneer er sprake is van bestuurlijke complexiteit is een lerende evaluatie geschikt. Een opgave is bestuurlijk complex wanneer meer overheidslagen betrokken zijn en onderling moeten samenwerken. Lerend evalueren faciliteert de betrokkenheid en interacties tussen de verschillende beleidsbetrokkenen en moedigt gezamenlijk leren aan. Lerend evalueren draagt hierdoor in potentie niet alleen bij aan een met kennis verrijkte beleidspraktijk, maar ook aan interbestuurlijke samenwerking en aan een lerend (beleids)netwerk.

Eisen

Welke eisen er zitten aan het uitvoeren van een lerende evaluatie, is sterk afhankelijk van de context waarin de evaluatie zich bevindt en welke methoden toegepast worden. Wel zijn er een aantal algemene eisen te stellen aan lerende evaluaties.

  • Ervaring met mixed methods onderzoeksbenaderingen en interdisciplinaire vaardigheden omdat veelal een combinatie van casusonderzoek, participatieve methoden en kwantitatieve data (administratieve data, statistische data) vereist zijn.
  • Een bescheiden en reflexieve houding en responsiviteit; bereidheid het evaluatieonderzoek tussentijds bij te stellen als dit beter aansluit bij de beleidsontwikkelingen of behoeften.
  • Een lerende houding van de evaluatoren én beleidsmakers in een actieve rol door kennis en ervaringen te delen, toegang te verlenen tot de benodigde data en bronnen en tussentijdse inzichten uit het evaluatieonderzoek te vertalen naar het beleid/de beleidspraktijk (en hiervoor capaciteit beschikbaar stellen).

Beperkingen

Lerend evalueren vraagt om een investering in capaciteit en budget van evaluatoren en beleidsbetrokkenen, om onderlinge afstemming en uitwisseling te organiseren. Deze investering weegt echter waarschijnlijk vooral op wanneer de opgave en bestuurlijke context dusdanig complex zijn dat meer reguliere evaluatiemethoden onvoldoende handvatten bieden om het beleid te informeren.

Kosten en doorlooptijd

Een lerende evaluatie loopt parallel aan het beleidsproces. De doorlooptijd is daardoor afhankelijk van het beleidsprogramma. Door de diverse interacties tussen evaluatoren en (verschillende) beleidsbetrokkenen vallen de kosten doorgaans hoger uit dan bij meer reguliere beleidsevaluaties. Er zal budget en capaciteit moeten worden vrijgemaakt door beide partijen om dergelijke bijeenkomsten te organiseren, faciliteren en bij te wonen. Een aantal bepalende factoren voor de kosten zijn:

  • Hoe complex de opgave is, ofwel hoe duidelijk de opgave is afgebakend (is er veel verkennend werk nodig om tot een gedeeld evaluatiekader te komen?)
  • Aantal interactieve sessies en aantal deelnemers
  • Benodigde voorbereiding en nazorg van interactieve sessies
  • Het type onderzoeksmethode dat wordt toegepast
  • Verdeling van de onderzoeksactiviteiten tussen evaluatoren en beleidsbetrokkenen

Mogelijke dataverzamelingsmethoden

Bij een lerende evaluatie is een combinatie van verschillende dataverzamelingsmethoden mogelijk: