Laatst kreeg een manager van Gemeente X binnen één week de accountant, controller, inspecteur en rekenkamercommissie aan zijn bureau. Ze waren allemaal bezig met hetzelfde type doelmatigheidsonderzoek*. Controles, audits, beleidsonderzoeken en analyses zijn aan de orde van de dag in het openbaar bestuur van gemeenten. Wat is de waarde van al deze onderzoeken? En hoe zinvol zijn ze?

De reden achter doelmatigheidsonderzoeken is logisch: het openbaar bestuur moet meer doen met minder budget. Door alle processen door te lichten, hoopt de gemeente ondoelmatigheid of verbeterpotentieel op te sporen. Maar je moet deze doelmatigheidsonderzoeken dan wel op de juiste manier uitvoeren. In dit artikel leggen we je de 3 basiselementen uit die absoluut niet mogen ontbreken bij het opzetten van een doelmatigheidsonderzoek.

1. Maak je veronderstelling helder

Onderzoek begint met het helder maken van je veronderstelling. Een veronderstelling is een gedachte over hoe processen binnen het openbaar bestuur (behoren te) verlopen. Vaak gaat men er al vanuit dat de veronderstelling tot het algemeen gedachtegoed hoort en niet meer ter discussie hoeft te worden gesteld.

Zodra je een veronderstelling duidelijk formuleert, blijkt deze vaak helemaal niet zo logisch te zijn...

2. Conceptualiseer je onderzoek

Het helder maken van je veronderstelling doe je aan de hand van een conceptueel model. Dit model is een visuele weergave van de verwachte oorzaak-gevolgrelatie in je onderzoek. 

Voorbeeld


Figuur 1: Veronderstellend verband tussen rapporteren en beheersen

Een controller had als veronderstelling dat organisatie X niet in control was, omdat er geen rapportages aanwezig waren. Maar na een aantal gesprekken met stakeholders over wat ´in control´ nu eigenlijk betekent, vat de controller dit begrip op als het realiseren van voorgenomen doelstellingen. Worden de doelstellingen gerealiseerd in verhouding met de vooraf toegekende budgetten en voorgenomen activiteiten en prestaties, dan wordt de organisatie goed beheerst.

Organisatie X rapporteert enkel als het niet goed gaat. Dus hoe minder ze van de planning afwijkt, hoe minder de managers hoeven te rapporteren. Organisatie X blijkt dus eigenlijk juist wel in control te zijn.


Figuur 2: Daadwerkelijk verband tussen rapporteren en beheersen

De veronderstelling uit het voorbeeld bleek dus heel anders te zijn dan vooraf gedacht. Van ‘De organisatie is niet in control, omdat er geen rapportages aanwezig zijn’ naar ‘Er hoeft niet gerapporteerd te worden als de organisatie in control is’.

3. Stel het normenkader ter discussie

Bij een doelmatigheidsonderzoek bakent het normenkader het onderzoek af en dient het als graadmeter voor de praktijk en het gevoerde beleid binnen een gemeente.

Vaak gebruikt de onderzoeker een monoconceptueel model voor zijn doelmatigheidsonderzoek. Dit is een veelgemaakte fout. Bij dit type model wordt vooraf een normenkader opgesteld, waar een bepaald proces aan moet voldoen. De praktijk wordt getoetst aan de hand van dit normenkader. Als de praktijk afwijkt van dit kader, luidt het advies om de praktijk weer conform het normenkader in te richten. Maar het normenkader wordt zelf niet ter discussie gesteld. Om het normenkader ook ter discussie te stellen, adviseren we je om het multiconceptueel model te gebruiken.

Voorbeeld


Figuur 3: Multiconceptueel model

(zie figuur 3) Voor onderzoek X heeft de onderzoeker een normenkader opgesteld met 4 criteria. In de praktijk ziet hij dat criterium 2 en 4 niet voldoen. Bij een monoconceptueel model zal de onderzoeker adviseren dat de gemeente moet gaan werken aan criterium 2 en 4. Want alleen als de gemeente voldoet aan alle criteria, werkt de gemeente doelmatig.

Maar was als het normenkader niet klopt? Bij een multiconceptueel model wordt een tweede concept toegevoegd: doelmatigheid. Dit concept heeft drie indicatoren die de doelmatigheid in de praktijk toetsen. De onderzoeker concludeert dat alle drie de indicatoren hoog scoren op doelmatigheid. De praktijk voldoet dus weliswaar niet aan alle criteria van het normenkader, maar steekt wel heel efficiënt in elkaar. Bij gebruik van een multiconceptueel concept zal de onderzoeker adviseren dat de gemeente vooral zo door moet gaan en criterium 2 en 4 van het normenkader moet schrappen.

Bij het gebruik van een conceptueel model moet je van tevoren wel de antwoorden op de volgende vragen helder hebben.

  • Hoe ga je naar doelmatigheid kijken?
  • Wat ga je meten in dit verband?
  • Wanneer voldoet een bepaalde praktijksituatie aan de gestelde criteria en wanneer niet?

Onderzoek begint dus bij het helder maken van de veronderstelling. Ook al lijkt deze vooraf erg logisch, het is opvallend hoe vaak deze niet blijkt te kloppen als je ze toetst in de praktijk van het openbaar bestuur. Zorg daarbij ook voor een juiste conceptualisering, waarbij je het normenkader ter discussie stelt. Alleen door deze basisbeginselen juist te hanteren, voorkom je zinloos onderzoek!

*Bij een doelmatigheidsonderzoek toetst de onderzoeker of de gemeente het beschikbare geld goed besteedt.

Rick Anderson Legal Consultant
Gerelateerde artikelen
Alle artikelen