Waarom

Waarom een onderzoeksprotocol?

Op deze plaats presenteer ik een protocol voor evaluatieonderzoek. Het doel is om onderzoekers inzicht te geven in wat wel en niet in een evaluatie-onderzoek moet en kan worden opgenomen. Beleidsmakers vinden hier een lijst met taken die bij grootschalige vernieuwingen in principe doorlopen moeten worden. De praktijk is echter dat er stappen worden overgelsagen. Met dit protocol in de hand kun je uitzoeken wat daar de gevolgen voor zijn en wat je wel en niet door wetenschappers kunt laten onderzoeken.

Beleidsvorming en evaluatieonderzoek

Mijn studie ging voor een deel over overheid en beleidsvorming. Door onder andere Jos van Kemenade ben ik wegwijs gemaakt in het spectrum van beleidsmakers, beleidsbeslissers en beleidsevaluatoren. Ook had hij een zeer uitgesproken visie over adviesstructuren, doelmatigheid en de wijze waarop politiek en bestuur uit kunnen blinken in het vermijden van beslissingen nemen. Zelf had hij veel geleerd van de ontwikkelingen rondom de middenschool. Dit was indertijd om politieke redenen afgeserveerd. Uiteindelijk liep hij voorop bij de totstandkoming van het vervolg daarop: De basisvorming.

Hervormingen en incompleet evaluatieonderzoek

In het onderwerp "basisvorming" heb ik me indertijd vastgebeten. In een vergelijkende analyse van drie elkaar opvolgende adviezen kwam ik tot de conclusie dat datgene vanuit de wetenschap internationaal goed en gedegen onderbouwd werd en onderschreven door de WRR, uiteindelijk in het eindvoorstel van de Minister Deetman zo aangepast werd, dat je vooraf al kon aan zien komen dat de hoofddoelstellingen niet gehaald werden. Vooraf concludeerde ik dan ook al, dat de hervorming van het middelbaar onderwijs in Nederland in de jaren '90 gedoemd was te mislukken. De analyse was reeds uitgevoerd in 1986. Uiteindelijk is een aantal reparatiewetten uitgevoerd. Maar nog steeds zitten we met de gevolgen van de keuzen die toen gemaakt zijn.

De analyse van de beleidsvorming over Basisvorming maakte me duidelijk dat in de totstandkoming van beleid veel gebruik wordt gemaakt van wetenschappelijk onderzoek, evaluatiemomenten van onderdelen en experimenten om moeilijke beslissingen niet uit te hoeven voeren en toch alvast wat te doen (tevreden stellen). Ook maakte het duidelijk dat wetenschappelijk verantwoorde adviezen aangepast worden aan politieke motieven. Het advies van de WRR omtrent de huisvesting van scholen voor Basisvorming was zonneklaar en dat stelde de raad ook nadrukkelijk. Toch voerde Deetman dit essentiële onderdeel gewoon niet uit.

Grootschalige vernieuwingen: geen traditie in evaluatieonderzoek

Vele voorbeelden illustreren hoe in de politiek besluitvorming uiteindelijk goed onderbouwde adviezen niet meegenomen worden. In feite is er geen eigen traditie op het gebied van grootschalige vernieuwingen bij de overheid. Daardoor wordt er niet anders gewerkt dan bij niet-grootschalige vernieuwingen.

Componenten in de besluitvorming

Eén van de belangrijkste oorzaken hiervan, ligt in het feit dat geen duidelijk inzicht is in de noodzakelijk volgorde van de verschillende componenten die moeten leiden tot een totaal overkoepelend besluitvorming:

• Definiëren van de overkoepelende problemen
• Bepalen van beleidsdoestellingen
• Bepalen van de deelgebeiden en deelproblemen die moeten worden opgelost.
• Kleinschalig testen van deeloplossingen, oplossingen op deelterreinen
• Experimenteren met oplossingen van deelproblemen en komen tot een aanbeveling op het bied van de overkoeplende problemen: Zo moet het, want dat levert deze oplossingen op en daarmee is een van de grote problemen aangepakt
• Het in de praktijk testen van de totaaloplossing: Doet dat wat we voor ogen hebben
• Daarna moet ook geëxperimenteerd worden met de totaal-invoering. Dat kun je iet zomaar droppen in het veld. Door deze test weet je bovendien welke invoeringsproblemen je kunt verwachten.

Protocol

Protocol voor meer en minder rationele beleidsontwikkeling bij grootschalige overheids-veranderingsprojecten

Door een zoektocht bij diverse auteurs op het gebied van evaluatie-onderzoek heb ik getracht alle dit soort onderzoekscomponenten bij elkaar te zetten.. Dat heeft geleid tot een protocol. In het protocol staan alle stappen opgesomd die je in een volledig rationeel beleidsontwikkelingtraject doorloopt. Echter door politiek worden diverse stappen overgeslagen. Dat is een politieke keuze, maar daar moet iedereen zich wel bewust van zijn. Door het overslaan van bepaalde stappen, hebben bepaalde vormen van ontwikkelonderzoek, experimenten en en onderzoeksevaluatie geen functie meer, of anderszins: worden die uitsluitend gebruikt voor politieke doeleinden. Met het protocol in de hand bepaal je de logische vervolgstappen in de uitvoering. Je kunt daarbij ook aangeven welke stappen ten gevolge van de genomen beslissingen niet meer in de lijn der logica liggen.

Kortom: het protocol geeft politici een handvat om kritisch te kijken naar welke stappen zij wel en niet zouden moeten zetten. Onderzoekers hebben hierme een leidraad om aan te geven welk type onderzoek op welk moment nodig zijn en welk eigenlijk niet zinnig. Zo zijn politiek en wetenschap samen beter in staat om te kiezen op welke wijze grootschalige overheidsvernieuwingen onderzocht, opgezet en uitgevoerd worden en op welke wijze de bijpassende beslissingen genomen en onderbouwd worden.

Bekijk het protocol voor grootschalige vernieuwingen of lees eerst de theoretische onderbouwing