Een reactie op Prof. dr. A.F.A. Korsten, ‘Wat evaluatoren van kritiek kunnen leren’, Beleidsonderzoek Online, 2013-12, 1) DOI: 10.5553/Beleidsonderzoek.000030
A.F.A. Korsten heeft onlangs 7 aandachtspunten voor evaluatieonderzoek beschreven1).
Hij wijst er onder meer op dat 1: Onderzoekers te laat worden betrokken bij het formuleren van de evaluatieopdracht 2: Onderzoekers de resultaten van beleid vergelijken met de doelstellingen maar maken niet duidelijk waarom een bepaald effect (niet) bereikt werd. (De overheid komt er dus niet achter of het ligt aan beleidsinhoud, de in- of uitvoering of aan iets anders). 3: Onderzoekers gaan uit van DE doelstellingen van HET beleid. Maar vaak zijn meerdere overheden betrokken en moet ook gekeken worden naar de doelstellingen en resultaten van elke partij afzonderlijk. Bovendien speelt dus mee dat er een zekere netwerkcontext is voor de samenwerkende partijen. Partijen veranderen hun aanpak tussentijds en passen dat dan weer aan op elkaar etc. “Bij een evaluatie van beleid dat in een netwerkcontext van van elkaar afhankelijke actoren tot stand kwam….. moeten de doelstellingen van alle actoren meegenomen worden. Al de actoren moeten in feite bij de opdracht tot evaluatie betrokken worden. Zij moeten immers ook de resultaten relevant vinden en benutten.” (Korsten, P 2013). 4: Evaluatieonderzoeken hebben (vaak) een beperkte reikwijdte (in tijd of gebied). Terwijl dergelijk onderzoek ook gebruikt kan worden als leerpunt voor overheden elders (waar soortgelijke besluiten genomen moeten worden). Ook beperkt het onderzoek vaak tot 1 jaar of 2,3 en dan houdt het op.
5: Padafhankelijkheid als gevolg van gebrek aan inhoudelijke kennis van de onderzoeker. Onderzoekers blijven ‘werken’ binnen hun eigen (bestaande) beleidsparadigma (lees: ‘frame’). Als de evaluatie wordt gedaan door een onderzoeker zonder inhoudelijke kennis dan kan men ook niet verwachten dat er uit de evaluatie suggesties komen om juist aan de inhoudelijke kant zaken anders te gaan doen. [En we weten dat het in de praktijk veel voorkomt dat de onderzoeker niet inhoudelijk op de hoogte is. Dat is verdedigbaar omdat de onderzoekspraktijk te maken heeft met beperkingen in tijd, budget en het eenvoudig niet altijd mogelijk is om iemand te vinden die aan alle eisen voldoet).
In zijn artikel levert Korsten ook voorbeelden en theorieën aan over het onderwerp evaluatieonderzoek. De schrijvers die hij aanhaalt hebben het probleem van evalueren bestudeerd en bieden een aantal oplossingen. (Voor meer oplossingen zie genoemd artikel)
Eén van de oplossingen die Korsten noemt spreekt mij erg aan. Het is (volgens Korsten) afkomstig van Guba en Lincoln (wie dat zijn weet ik niet en ik heb geen tijd om dat uit te zoeken helaas). Zij wijzen erop dat het juist heel belangrijk is om de afhankelijke actoren te betrekken bij de evaluatie.
De onderzoeker die evaluatieonderzoek doet moet volgens Guba en Lincoln samen met de geëvalueerden een leerproces organiseren. Laat de actoren participeren in de evaluatie. De onderzoeker die evalueert wordt ‘samenspeler’ in plaats van conctroleur. Zie ook (Edelenbos en Van Buuren).
Wie meer wil weten over evaluatieonderzoek leze het hele artikel.
De visie van Guba en Lincoln klink erg interessant. Praktisch komen we echter in de problemen vrees ik. Want wat is ook alweer een van de belangrijkste doelen van de evaluatie? Juist: Een onafhankelijke rapportage over het bereiken van de doelstellingen. Hoe is het verdedigbaar dat daarin de actoren zelf participeren? (Ook als ik zou geloven dat het mogelijk is om met deze aanpak een objectief rapport te maken). Wie / welke politicus gelooft in de uitkomsten van zo’n rapport? Ik denk dat het koren op de molen is van iedere beleidscriticus.
Met als gevolg dat het rapport startpunt is van nieuwe meningsverschillen en verzoeken om meer duidelijkheid….
Conclusie: Het artikel van Korsten behoort tot de categorie Wetenschappelijke Literatuur. Het is heel helder geschreven en heel leerzaam als je je wilt verdiepen in HOE en WAAROM vragen. Het geeft voor praktijkgericht onderzoekers geen bruikbare oplossingen maar wordt hopelijk opgepakt door adviseurs van de overheid en hogere ambtenaren. Dus roep ik bij deze hogere ambtenaren op om kennis te nemen van het artikel. Misschien zorgt deze kennis ervoor dat er aanpassingen komen in de procedures die de overheid volgt bij het uitbesteden van evaluatieonderzoek.