Korte toelichting
In een productiviteitsonderzoek wordt gekeken naar de relatie tussen de middelen die worden ingezet en de daarmee gerealiseerde hoeveelheid en kwaliteit van diensten of prestaties. Dit type onderzoek kan dus bijdragen aan het inzicht in de doelmatigheid van prestaties. In een ziekenhuis gaat het bij ingezette middelen bijvoorbeeld om de hoeveelheid verplegend personeel en het aantal specialisten, maar ook om de hoeveelheid (en de kwaliteit van de) apparatuur die wordt gebruikt. In dit geval zijn de diensten of prestaties het aantal succesvol verrichte behandelingen. Door in dit geval verschillende ziekenhuizen met elkaar te vergelijken, kun je bepalen welke ziekenhuizen de meest gunstige verhouding hebben tussen ingezette middelen en gerealiseerde diensten. Benchmarking is een overkoepelende term die wordt gebruikt om te kijken wat je kan leren door je te spiegelen aan je peers. Data Envelopment Analysis (DEA) en Stochastic Frontier Analysis (SFA) zijn twee methoden om een benchmark uit te voeren. Het is ook mogelijk één instelling te bekijken door te kijken naar de ontwikkeling van de productiviteit, mits dit mogelijk is voor een langere tijdsperiode.
Vragen die je met dergelijke onderzoeken kunt beantwoorden zijn onder andere:
- Waarom lijken sommige instellingen beter te presteren dan andere?
- Hoe groot zijn de doelmatigheidsverschillen, ook in de tijd?
- Hoe krijgen we meer zicht op doelmatigheid en kunnen we een basis krijgen voor een gesprek hierover met stakeholders?
- Wat kunnen instellingen van elkaar leren?
Toepassingsgebied
Benchmarks zijn breed inzetbaar en zijn niet gebonden aan specifieke beleidsterreinen. Wel werken dergelijke onderzoeken het beste als er sprake is van homogene instellingen die je goed met elkaar kunt vergelijken. Hierbij kun je denken aan gemeenten, ziekenhuizen, nutsbedrijven, zorginstellingen en uitvoeringsorganen.
Een kanttekening daarbij is dat de specifieke context van zo’n organisatie een goede vergelijking in de weg kan staan. Ook bij instellingen die minder eenvoudig met andere instellingen te vergelijken zijn, zoals zelfstandige bestuursorganen of agentschappen, kun je vormen van productiviteitsonderzoek toepassen door zogenoemd ‘longitudinaal onderzoek’. Bij longitudinaal onderzoek volg je dezelfde instellingen voor een langere tijd en bekijk je vooral de ontwikkeling van de productiviteit van een organisatie over de tijd.
Het is ook mogelijk deze aanpak toe te passen over een heel domein, bijvoorbeeld door te kijken naar de productiviteitsontwikkeling in de tijd van alle ziekenhuizen samen. Hierbij wordt alleen gekeken naar de ontwikkeling van de productiviteit en niet naar de mate waarin de productiviteit per jaar verbeterd kan worden.
Eisen
Je hebt gedetailleerde informatie nodig over de ingezette middelen (personeel, materieel) en over de productie (aantal geleverde diensten of producten) om uitspraken te doen over de productiviteit. Daarbij heb je deze informatie ook nodig voor meerdere eenheden en/of over meerdere tijdsperioden. Indien deze informatie niet per instelling beschikbaar is (wat goed mogelijk is), maar wel voor een bepaald domein (zoals ziekenhuizen) dan kun je wel kijken naar de ontwikkeling van de productiviteit van het domein.
Beperkingen
- De beperkte meetbaarheid van prestaties van veel publieke instellingen is een beperkende factor: welke indicatoren je ook voor het aspect ‘kwaliteit’ kiest, het houdt altijd een beperking in. Er moet goed nagedacht worden hoe bepaalde prestaties in meetbare eenheden en cijfers uitgedrukt kunnen worden. Het inzicht in productiviteit (en de doelmatigheid daarvan) is nu vaak nog beperkt en er is ook meer mogelijk dan vaak wordt gedacht.
- Deze methode is niet per definitie gericht op het doen van een uitspraak over de redenen waarom de productiviteit (en de doelmatigheid daarvan) verschilt en verandert. Wanneer er voldoende gegevens zijn kan hier aanvullend wel onderzoek naar worden gedaan.
- Verder ontbreken vaak gegevens over de kwaliteit van de productie, omdat deze vaak niet structureel worden verzameld. Daarin schuilt het gevaar dat de productiviteit lijkt toegenomen, terwijl in de praktijk daar een langere kwaliteit voor is geleverd die niet in het onderzoek naar voren komt.
Kosten en doorlooptijd
Het verzamelen van de gegevens, het opschonen van de data voor de analyses en het uitvoeren van de analyses is tamelijk arbeidsintensief. De tijdsinspanning zal een stuk lager liggen bij een DEA dan bij een SFA. SFA vraagt ook specialistische expertise. Bij een DEA moet je denken aan een doorlooptijd van circa 3-6 maanden, bij een SFA is het eerder 6-12 maanden.
Literatuur
- Een standaardwerk over SFA is Kumbhakar en Knox Lovell, Stochastic Frontier Analysis (2000)
Voorbeeldstudies
- IPSE Studies is gespecialiseerd in het uitvoeren van SFA en DEA en op hun website vind je diverse rapporten met voorbeelden: https://www.ipsestudies.nl/
- Het SCP heeft ook diverse productiviteitsstudies uitgevoerd, met daarin ook een beschrijving van de methoden in het Nederlands. Zie onder meer “Verstandig verzorgd” (2001). Een voorbeeld van een macrostudie is Publiek voorzien: https://www.scp.nl/publicaties/publicaties/2018/11/06/publiek-voorzien
Andere voorbeelden die ook in de repository aan voorbeeldevaluaties te vinden zijn: