Het recente replicatie-onderzoek van ManyLabs is heel leerzaam – maar het leert ons niets over fraude in de sociaal-psychologie. Hoe rot is het sociaal psychologisch onderzoek? Hoeveel grote en kleine Stapeltjes lopen daar rond? Volgens officiële instanties zoals de KNAW en de VSNU, die direct na de val van de Tilburgse hoogleraar commentaar moesten leveren in de media, was Diederik Stapel de Grote Uitzondering. Een tragisch figuur, en verder was er bijna niks aan de hand – in ieder geval veel minder dan iedereen dacht.
Het was een nutteloos verweer, dat de maatschappelijke argwaan alleen maar voedde. Een vreemd verweer ook, want binnen dat vakgebied zélf overheerste toen al twijfel aan de waarde van veel publicaties. Sociaal psychologen weten dat ze iets hebben uit te leggen. Een recente studie, uitgevoerd door een grote groep onderzoekers, is een dappere poging om in ieder geval twéé pijnpunten aan te pakken. Maar fraude zit daar niet bij.
De ruim vijftig psychologen verbonden aan het ManyLabs-project hebben geen originele data doorgevlooid, op zoek naar statistische eigenaardigheden of niet-bestaande proefpersonen; ze hebben van dertien studies simpelweg de structuur bekeken en deze daarna nog een keer overgedaan, maar dan met behulp van een compleet nieuwe verzameling (echt bestaande) proefpersonen. De centrale vraag was dus niet: is het originele onderzoek daadwerkelijk (en volgens de regelen der kunst) uitgevoerd maar: is het resultaat repliceerbaar? Kun je met deze aanpak dit resultaat nog een keer tevoorschijn toveren? Dat is een test die in het vakgebied veel te weinig wordt uitgevoerd.
Bij de Volkskrant waren ze een beetje het spoor bijster. Daarin stond dat de affaire-Stapel ‘mede de aanleiding’ was voor dit onderzoek. Een opmerking die door de opmakers van de krant ook nog eens verheven werd tot een streamer. Maar met fraudeonderzoek of Stapel heeft het onderzoek van Manylabs niks te maken.
Fraudeurs vallen zo nooit door de mand. Want wie fraudeert, of gewoon alles à la Stapel alles verzint, zorgt er natuurlijk wél voor dat het eindresultaat in overeenstemming is eerder door anderen behaalde resultaten, en met algemeen aanvaarde inzichten. Want als je iets héél geks publiceert, kan je er donder op zeggen dat er wel ergens iemand opstaat die dat repliceren wil. En dan hang je. Nee, je moet er als fraudeur voor zorgen dat iedereen je resultaat geloofwaardig vindt en dankbaar omarmt.
Een mooi voorbeeld is het ‘vlees maakt agressief’ onderzoek van Stapel, dat zo dankbaar werd omarmd door de Nijmeegse hoogleraar Roos Vonk. Dat deed ze niet alleen omdat ze een verklaard tegenstander is van vlees eten, ze trapte er des te harder in omdat dit resultaat ook datgene was wat ze mocht verwachten. Het onderzoek was gewoon het zoveelste voorbeeld van ‘priming‘: de theorie dat subtiele zintuiglijke indrukken ons gedrag onbewust kunnen sturen. Zet het stembureau in een kerk, en twijfelaars kiezen vaker voor de ChristenUnie – om maar een voorbeeld te noemen.
De waarde van dit onderzoek zit in twee resultaten. Ten eerste zijn er géén bewijzen gevonden voor de bewering (zeg maar: de angst) dat sociaal psychologen veel te veel vertrouwen op proefpersonen die ze op of rond de universiteiten gemakkelijk bij de kladden kunnen grijpen. Vele jaren geleden werd al gewaarschuwd dat ze veel te veel gebruik maakten van van studenten, en van mensen uit landen die Western, Educated, Industrialized, Rich and Democratic, kortom WEIRD zouden zijn. Een volstrekt atypisch groep dus, waardoor de resultaat van al die onderzoeken eigenlijk alleen van toepassing zouden zijn op een klein, een ‘weird‘ deel van de mensheid. Deze replicatie laat nu zien dat onderzoekers daar waarschijnlijk niet bang voor hoeven zijn. Andere bevolkingsgroepen en volken zijn net zo irrationeel als de zo uitgebreid geteste rijke blanken.
Een ander interessant resultaat is het door de mand vallen van een verschijnsel waarvan iedereen jarenlang (de twijfel sloeg recent al flink toe) had gedacht dat het ondertussen wel voldoende bewezen was, en waar boeken over vol zijn geschreven, omdat het zo leuk is. En dat is…precies: priming.
In dit replicatie-onderzoek vielen twee van de dertien onderzochte studies echt door de mand, en die hadden beide betrekking op priming. Zo bleek dat Amerikanen niet conservatiever worden wanneer ze een aantal foto’s moeten bekijken waarop (op de achtergrond) de Amerikaanse vlag te zien is. En mensen die eerst wat geld vasthouden, zijn daarna ook niet een beetje ‘rechtser’ dan voorheen, zoals een ander onderzoek had aangetoond.
Die twee negatieve resultaten zijn uiteraard niet voldoende om het hele begrip priming bij de vuilnisbak te zetten, maar als het bestaat, is het waarschijnlijk moeilijker aantoonbaar dan de twee eenvoudige, in deze studie gerepliceerde onderzoekjes suggereren. Meer replicaties zijn noodzakelijk – en de kans is niet gering dat dan blijkt dat álle eenvoudige priming-onderzoekjes niet voor herhaling vatbaar zijn. En dan wordt het interessant.
In dat geval is er namelijk bij werkelijk duizenden onderzoeken steeds iets misgegaan. Dat kan variëren van simpele fouten die per ongeluk goed uitpakten, via sluwe datamassage tot complete luchtkastelen zoals Stapel die bouwde (om aan te tonen dat vlees zien agressief maakt – het leek zo’n voor de hand liggende conclusie). In dat geval wordt het interessant om een flinke stapel van dat soort onderzoekjes door te vlooien: we weten dat het resultaat niet klopt, maar wát ging er precies mis? Welk percentage van de onderzoeken is gestaakt of nooit gepubliceerd omdat er niks uit kwam? Welk percentage verscheen met een ‘goed’ resultaat dankzij dom geluk, welk percentage verscheen maar is puur gelogen?
Die ‘twee op de dertien’ zegt dus niks over fraude, maar bovenstaande percentages, als die te vinden zijn, die zouden daar wél iets over kunnen zeggen. Daaruit zou blijken welk deel van de onderzoekers bereid is om te gaan knoeien als de resultaten niet naar hun zin zijn.
Laten we maar hopen dat er in kasten en laden van psychologische labs werkelijk enorme stapels liggen van vroegtijdig afgebroken, en niet verschenen negatieve priming-studies.
Zo niet, dan is dat een slecht teken.
Het onderzoek is te vinden op www.openscienceframework.org
