Jaarlijks geef ik colleges onderzoeksmethoden. In mijn college over experimenteel onderzoek laat ik studenten kijken naar een filmpje van PVV-Kamerlid Lilian Helder met de titel ‘PVV-miep snapt statistiek niet’. Mijn vraag na afloop is altijd: wie heeft er gelijk?
Helder sprak over recidieven. Er is onderzoek wat laat zien dat criminelen die een taakstraf krijgen minder vaak recidiveren dan criminelen met een gevangenisstraf. Uit het filmpje kun je opmaken dat criminelen worden vergeleken die dezelfde delicten hebben gepleegd. Volgens Helder kun je deze groepen niet met elkaar vergelijken. Zij wordt o.a. aangevallen door SP-er Sharon Gesthuizen. Zij vindt dat Helder met ‘een kolderredenering’ komt.
Aan de antwoorden van studenten kun je zien of ze überhaupt nadenken als ze een vraag krijgen voorgelegd. De tegenstanders van Helder zeggen dat de PVV sowieso geen gelijk kan hebben en Helder dus ook niet. De medestanders van Helder zeggen hetzelfde als wat NRC dit weekend meldde: er is ongetwijfeld ook ander onderzoek gedaan dan waaraan wordt gerefereerd. Dit onderzoek komt misschien tot andere conclusies en dan heeft Helder dus wellicht toch gelijk.
Beide antwoorden zijn slecht omdat ze geen teken geven van enige eigen argumentatie. Het argument dat PVV-ers altijd ongelijk hebben verhult dat nauwelijks, maar het geldt ook voor het argument dat er andere meningen of onderzoeken zijn. Dit is immers Wikipedia-wijsheid, waarbij men google’t en zegt: bron A (een nieuwe bron) zegt hetzelfde als bron B (Lilian Helder) en dus heeft Lilian Helder gelijk. Het herhalen van de argumenten van de ander – zoals ook NRC dat doet – maakt het antwoord niets beter. De vraag blijft: kloppen de argumenten?
NRC-redacteur Pim van den Dool denkt geen seconde na tijdens het typen van het bericht dat Lilian Helder toch gelijk heeft. Hij vertelt alleen dat er mensen zijn die een argument aan de discussie hebben toegevoegd en dat dit in het voordeel is van Helder. Alleen op basis van de status van de auteurs – die een wetenschappelijk artikel hebben geschreven – zou de discussie beslecht zijn. Slechter discussiëren kan niet, want argumenten en niet status zouden de doorslag moeten geven. Staat nu vast dat Helder ‘verstand van statistiek’ heeft?
We hoeven hiervoor slechts kennis uit een begincursus onderzoeksmethoden te gebruiken in combinatie met logisch nadenken. Op basis van het filmpje kun je sowieso niets zeggen over het onderzoek. We weten niet of de criminelen met een taakstraf vergelijkbaar zijn met criminelen met een gevangenisstraf. Misschien stond dat in het aangehaalde onderzoek, maar in het filmpje horen we er niets over.
De vraag bij experimenteel onderzoek is altijd of de experimentele groepen vergeleken kunnen worden. In dit geval: criminelen met een taakstraf en een gevangenisstraf. Dit is methodologisch een lastig vraagstuk want je kunt nooit 100% garanderen dat de groepen helemaal vergelijkbaar zijn. Er zijn mensen die om die reden experimenteel onderzoek weinig waard vinden, zeker in de sociale wetenschap. Je weet het nooit zeker. En dus is er ruimte voor Helder’s argumentatie.
Toch kunnen we twijfelen aan Helder’s kennis. In hetzelfde filmpje komt Sharon Gesthuizen met een ander voorbeeld (vanaf 3.10). Stel dat in een ziekenhuis 50% van de patiënten sterft na een openhartoperatie. Stel dat dat in een ander ziekenhuis 3% is. Kunnen we dan iets zeggen over de kwaliteit van die ziekenhuizen? Gesthuizen zegt dat Helder die vergelijking vast ook niet wil maken. Helder noemt Gesthuizen’s suggestie belachelijk.
Maar Gesthuizen heeft gelijk: het gaat om precies hetzelfde vraagstuk. Zijn patiënten die massaal sterven in ziekenhuis A vergelijkbaar met de patiënten die nauwelijks sterven in ziekenhuis B? Logisch nadenken leidt tot de conclusie dat dit niet aan het ziekenhuis hoeft te liggen. Het kan ook dat de groep patiënten in ziekenhuis A er veel ernstiger aan toe is dan in ziekenhuis B. Dan kan ziekenhuis A zijn werk beter gedaan hebben dan ziekenhuis B al ligt de sterfte in ziekenhuis A hoger.
Gesthuizen is consistent: ze denkt helemaal kritisch niet na bij onderzoeksresultaten en gaat er in beide gevallen vanuit dat de vergelijking gemaakt kan worden. Dat is echter twijfelachtig. Helder zegt dat de vergelijking bij recidieven van criminelen met een taakstraf en een gevangenisstraf niet mogelijk is, maar bij ziekenhuizen wel. Het eerste klopt mogelijk wel, het tweede niet. Volgens de NRC-redacteur heeft Helder er toch verstand van.
Samenvattend: Helder’s kennis over onderzoeksmethoden is onduidelijk, Sharon Gesthuizen snapt er niets van en de NRC-journalist moet nog maar eens bewijzen dat hij zelf kan nadenken. In september begint mijn cursus onderzoeksmethoden weer. Toch maar eens aanschuiven?
Chris Aalberts is auteur van: Achter de PVV: waarom burgers op Geert Wilders stemmen.
