Beleidsevaluatieonderzoek
Beleidsontwikkeling: doel en rol van evaluatieonderzoek
Er zijn meerdere vormen van beleidsevaluatie te onderscheiden. Bijvoorbeeld Scheerens (1987a), die zich onder andere baseert op A.D.De Groot, noemt met name zelfevaluatie, analytische evaluatie en de politieke en sociale context, die van invloed is op de totstandkoming, uitvoering en benutting van evaluatie-research (Scheerens, 1987a, p. 120). Ook dit laatste is op te vatten als een specifieke dimensie in de totale evaluatie. Met name hierbij blijken nog al eens wat problemen te ontstaan. Een andere vorm van evaluatie-onderzoek kan nog genoemd worden naar aanleiding van het studie van Beem en anderen (Beem (red.), 1988). Dit betreft de evalueerbaarheidsanalyse.Zelfevaluatie
Zelfevaluatie b.v. binnen onderwijs houdt in ".... een interne evaluatie op een school of universiteit, op basis van een meer of minder systematische gegevensverzameling." (Scheerens, 1987a, p.119). Motieven voor een zelfevaluatie kunnen zijn:a. kunnen voldoen aan de eisen van een externe controle;
b. functioneren van de instelling te verbeteren. Uitvoerders van dit type evaluatie zijn de beroepsuitoefenaars zelf en dus geen professionele evaluatie-onderzoekers.
Analytische evaluatie
Analytische evaluatie houdt in, dat het beleid wordt onderzocht op "....waarschijnlijke houdbaarheid van de geïmplementeerde causale relaties." (Scheerens, 1987a, p. 119). Ten aanzien van de expliciteit van het beleid zijn daarbij twee functies te onderscheiden:- Bij beleid, dat is geformuleerd in vage en algemene termen, kan een zekere mate van verwachting ten aanzien van het niet-werken van een bepaalde maatregel de functie hebben dat grootschalig evaluatieonderzoek enkel een verspilling van energie zou betekenen;
- In minder extreme gevallen kan de analytisch evaluatie helpen met de reconstructie van de causale structuur van het beleid en daarmee de keuze voor bepaalde variabelen in het evaluatie-onderzoek vergemakkelijken.
Evalueerbaarheidsanalyse.
Evalueerbaarheidsanalyse betreft een analyse van de te verwachten empirische vaststelling van de resultaten. Het gaat om inzicht in de te verwachte problemen met betrekking tot het meten van het effect van de voorgestelde maatregelen. Dit is iets wezenlijk anders dan de analyse van de houdbaarheid van de veronderstellingen, die gevalueerd worden. (De studie van Beem en anderen is daarbij verwarrend, omdat zij het over analytische evaluatie hebben, terwijl ze een evalueerbaarheids-analyse uitvoeren.)Effecten-onderzoek
In 't Veld-Langeveld & Hoogerwerf (1982) omschrijven beleidsevaluatie als ".... het beoordelen van inhoud, totstandkoming en effecten van het beleid en van de deelprocessen in het beleidsproces." (In 't Veld & Hoogerwerf, 1982, p. 157). Deze beoordeling gebeurt vaak aan de hand van de beleidsdoeleinden, maar kan vaak ook een beoordeling van beleidsdoeleinden, middelen, aktiviteiten, tijdsvolgorde en effecten aan de hand van andere maatstaven zijn. Deze andere maatstaven kunnen bijvoorbeeld beginselen of andere opvattingen van de beoordelaars zijn. De auteurs constateren, dat slechts zeer weinigen het overheidsbeleid met wetenschappelijke methoden evalueren. Evaluatie-onderzoek, dat wetenschappelijke methoden hanteert, kenmerkt zich door de kennis te vergaren, die nodig is ".... met het oog op de beoordeling van inhoud, proces en/of effecten van een beleid" (In 't Veld & Hoogerwerf, 1982, p. 159). Vervolgens gaan de auteurs in op het effecten-onderzoek, dat een specifieke vorm van evaluatie-onderzoek is. Zij beschrijven daartoe een aantal onderzoeksmodellen. Effecten-onderzoek van beleid kenmerkt zich, doordat het zich niet in de eerste plaats richt op het verwerven van wetenschappelijke kennis, maar vooral om de toepassing van die kennis te beoordelen. Daarbij wordt gebruik gemaakt van een model waarin de hypothesen over de relaties tussen de beleidsinstrumenten en andere factoren in het beleidsveld enerzijds en de doelbereiking en neveneffecten anderzijds. Dit model wordt het "impactmodel" genoemd (In 't Veld & Hoogerwerf, 1982, p. 161). De auteurs noemen vervolgens, dat, indien de beleidsdoeleinden onduidelijk zijn, de onderzoekers bij het ontwikkelen van het impactmodel de effecten kunnen vergelijken met andere doeleinden, danwel de vergelijking achterwege laten. Hiermee verandert echter wel het karakter van de effects-evaluatie. Het wordt daarmee een [logische] reconstructie achteraf van de doeleinden op basis van het gevonden effect. Het effect is gevonden, het gevoerde beleid, overige bestuurlijke factoren en externe factoren zullen de oorzaken vermoedelijk zijn. Daarmee is dan ook geen sprake meer van een "beleids-evaluatie" maar van een type onderzoek, dat eerder "praktijk-analyse" genoemd zou kunnen worden en veel overeenkomst vertoont met een "probleem-analyse", dat onderdeel is van een allereerste fase van beleidsvorming. Ten aanzien van beleidsevaluatie is een praktijk-analyse vooral nuttig met betrekking tot de voortgang van de beleidsmaatregelen. Op basis van de analyse kan het gevoerde beleid bijgesteld worden, om het effect bij te sturen in de gewenste richting. Ook kan een praktijk-analyse ondereel uitmaken van een invoeringsevaluatie, een vorm van evaluatie, die erop gericht is om het invoeringsproces te stroomlijnen en te anticiperen op voorziene en onvoorziene problemen, die gedurende de invoering van de onderwijsvernieuwing optreden.Download het oorspronkelijke artikel Naar een Model voor Evaluatie van Onderwijsbeleid (pdf)