Meten is weten (mooi niet dus)
Meten is weten (mooi niet dus)
Meten is weten. Maar meten verandert ook ons gedrag. Dat leidt regelmatig tot problemen. Op het werk, in het onderwijs en ook onder wetenschappers, zo bleek deze week weer eens.
Afgelopen woensdag onthulde de Volkskrant dat enkele honderden Nederlandse wetenschappers artikelen hebben gepubliceerd in zogenoemde ‘rooftijdschriften’. De wetenschappers betaalden ervoor om hun stukken snel en zonder gezeur geplaatst te krijgen. De tijdschriften worden uitgegeven door malafide bedrijven, die profiteren van de publicatiedruk die onderzoekers ervaren.
Over die publicatiedruk is al veel langer discussie. Vijf jaar geleden stelde de Koninklijke Nederlandse Akademie van Wetenschappen dat de verplichting steeds maar weer vernieuwend en nuttig onderzoek te publiceren, onder meer leidt tot weinig aandacht voor het repliceren van bestaand onderzoek. En tot de neiging de eigen onderzoeksresultaten mooier voor te stellen dan ze in werkelijkheid zijn. Veel wetenschappers willen af van het simpelweg tellen van publicaties, maar zo heel snel gaat dat nog niet.
In de sociale wetenschappen noemen ze dit fenomeen Campbell’s Law. De wet van Campbell zegt: des te vaker je een cijfermatige maatstaf gebruikt om beslissingen te nemen omtrent een sociaal fenomeen, des te groter de kans op verstoring en ondermijning van juist dat fenomeen. Dus: des te zwaarder het aantal publicaties telt om de kwaliteit van een groep wetenschappers mee te meten, des te groter de kans dat nou net die kwaliteit door deze maatstaf wordt ondermijnd.
Overal om je heen zie je voorbeelden van Campbell’s Law. Op school: de scholier die niet studeert om zich te ontwikkelen maar om een 5,6 te halen op z’n proefwerk. In de politiek: de druk om te scoren in de peilingen. Op het werk: de medewerker van de telefonische helpdesk die wordt afgerekend op het aantal telefoontjes dat hij per uur afhandelt. Goed voor het verkorten van de wachttijd, slecht voor de service.
Maar een van de belangrijkste en vervelendste voorbeelden van Campbell’s Law is misschien wel de manier waarop beurskoersen het beleid van grote ondernemingen bepalen. Directies van duizenden grote bedrijven en vele miljoenen beleggers laten zich voor de beoordeling van wat ‘goed ondernemerschap’ is leiden door slechts één vraag: gaat de koers omhoog of omlaag? In zo’n wereld is het ‘goed nieuws’ als je af en toe flink wat ‘saneert’ en onderwerpen als duurzaamheid vooral ‘voorzichtig’ benadert. De armoe van het grootkapitaal.
Goed om te weten: de naamgever van Campbell’s Law, de Amerikaanse sociale wetenschapper en methodoloog Donald T. Campbell, was helemaal geen tegenstander van cijfermatig meten en evalueren. Hij vond het juist verwerpelijk wanneer mensen probeerden een kritische evaluatie van hun beslissingen en werk te vermijden.
Maar Campbell vond óók dat je scherp in de gaten moet houden of je door het kiezen van je meetmethode niet allerlei gedrag uitlokt waarop je juist niet zit te wachten. En hij pleitte voor het hanteren van meerdere indicatoren – niet alleen kwantitatieve, maar ook kwalitatieve.
Eigenlijk zouden we niet minder moeten meten, volgens Campbell, maar meer en veelzijdiger. En we moeten regelmatig bekijken of onze meetmethodes nog voldoen aan de hogere maatstaf van wat waardevol en juist is.
Ben Tiggelaar
(Verschenen als column in NRC)
Delen
