Vijf valkuilen bij evalueren
Vijf valkuilen bij evalueren
Deze zomer wordt er heel wat geëvalueerd. We kijken terug op vijf maanden van grote onzekerheid en allerlei experimenten. En nu proberen we daar lessen uit te trekken. Maar goed evalueren is nog niet zo eenvoudig. Vijf valkuilen (én tips).
1. Criteria verzinnen tijdens de evaluatie.
De basisregel waar het vaakst tegen wordt gezondigd: bepaal vooraf welke criteria je zult hanteren tijdens je evaluatie. Kijk je bijvoorbeeld vooral naar de financiële gevolgen van je thuiswerkaanpak? Of let je ook op graadmeters als productiviteit en betrokkenheid? Wie niet vooraf afspreekt, met zichzelf en anderen, om welk lijstje met maatstaven het draait bij een evaluatie, zal verbaasd staan over ons creatieve vermogen om ter plekke nieuwe criteria te verzinnen die – hoe toevallig – precies de legitimatie vormen van ons favoriete idee.
2. Je blindstaren op de resultaten.
Beleidsonderzoekers onderscheiden verschillende soorten evaluaties. De belangrijkste twee zijn de effectevaluatie en de procesevaluatie. Bij de eerste kijk je primair naar de resultaten: wat heeft ons experiment opgeleverd? Bij de tweede focus je op het proces: hoe verliep ons experiment eigenlijk? Essentiële vraag daarbij is of het plan wel netjes werd uitgevoerd. Zonder procesevaluatie zul je nooit weten of de resultaten, goed of slecht, te danken zijn aan het plan of aan de uitvoering ervan.
3. De verkeerde mensen aan tafel.
Bij veel evaluaties van projecten en plannen praten alleen de mensen mee die zélf deze projecten en plannen hebben bedacht. Dat is bijna een garantie voor irrationele keuzes. De oplossing? Breid je evaluatiegroep uit met mensen die jouw project hebben meegemaakt vanuit een heel ander perspectief. Collega’s die niet bij de planvorming betrokken waren, maar wel bij de uitvoering. Of experts van buiten. Of klanten en burgers.
Ook handig: een ‘evaluatie-waakhond’. Iemand die niet meepraat over de plannen en de resultaten, maar zich alleen bezighoudt met onderwerpen als onderzoeksmethoden, evaluatiecriteria en dataverzameling.
4. Te oppervlakkig evalueren.
Vaak wordt bij een evaluatie alleen gesproken over de vraag: werkte dit of werkte dit niet? Maar iedereen met een beetje levens- en evaluatie-ervaring weet dat een ingreep soms wel en soms niet werkt. Ray Pawson en Nick Tilley, twee Britse onderzoekers die de grondleggers zijn van de realist evaluation-methode, stellen dat je beter kunt vragen: ‘Wat werkt voor wie onder welke omstandigheden en op welke manier?’ Vraag je af: welke contexten en welke mechanismen hebben invloed op de resultaten? Dat is ingewikkelder. Maar ook eerlijker.
5. Pas na afloop nadenken over evalueren.
Wie wil evalueren volgens het boekje, bedenkt voorafgaand aan zijn experiment hoe hij dat wil doen. Dus: welke criteria ga je hanteren, welke data wil je onderweg verzamelen, wanneer ben je tevreden met de resultaten en wanneer niet, wanneer ga je evalueren en met wie? Al deze vragen hoor je eigenlijk te beantwoorden voor je met een project start.
Logisch dat we hierover niet nadachten in maart. De meesten van ons hadden opeens wel iets anders aan hun hoofd dan het nadenken over toekomstige evaluaties. Maar nu we ons tweede coronaseizoen ingaan en noodgedwongen blijven experimenteren, biedt ons dat ook de kans om het leerproces slimmer in te richten.
Ben Tiggelaar
(verschenen als column in NRC)
Delen
