Pakweg twee derde van de wetenschappelijke publicaties in de psychologie laat zich niet repliceren, zo is recent gebleken. De onderzoeker heeft zijn artikeltje geschreven, het tijdschrift heeft het keurig gepubliceerd – maar wanneer een collega op het (in de huidige wetenschappelijke praktijk overigens redelijk bizarre) idee komt om zo’n experiment exact te herhalen, dan valt het resultaat meestal door de mand. Wat doen we daaraan, zo luidt de vraag in een heleboel sindsdien verschenen artikelen en blogs. Veel goede ideeën zijn inmiddels gelanceerd. En dan heb je ook nog de opiniebijdrage van emeritus-hoogleraar Piet Verschuren in de Volkskrant van 15 september.
Verschuren constateert ten eerste dat het falende onderzoek ‘steeds het klassieke experiment’ betreft, met twee groepen proefpersonen, waarbij de ene groep iets wordt aangedaan, terwijl de andere groep (de controlegroep) niks te verduren krijgt. En dan turf je de verschillen. Verschuren vindt dat blijkbaar een verwerpelijke aanpak:
“Hordes onderzoekers volgen elkaar blindelings in deze methode, daarin aangemoedigd door financiers als NWO, zonder rekening te houden met de nadelen en beperkingen ervan.”
Tjonge, die Piet die durft. Zeker met emeritaat.
Vervolgens somt hij op wat volgens hem de oorzaken zijn van die slechte reproduceerbaarheid. Dat zijn: te kleine groepen (dat ziet een beetje onderzoeker direct); geen aselecte steekproef; de herhaling was niet écht identiek (maar dat ligt dan niet aan de onderzoeksopzet an sich maar aan de herhaling); en tot slot de neiging van tijdschriften om alleen onderzoek te publiceren dat een positief resultaat oplevert, en onderzoek met negatieve resultaten liever negeren. (Dat laatste maakt de blaadjes inderdaad mooier, maar is op zich géén verklaring voor het ontbreken van repliceerbaarheid.)
Dan noteert Verschuren nog drie nadelen waar ‘hordes onderzoekers’ geen oog voor hebben: je toetst alleen een hypothese (‘duister blijft hoe het effect tot stand komt’), ook zijn algemene uitspraken op basis daarvan ‘uiterst riskant’ en verder heeft deze aanpak ‘een fragmentarisch karakter’. Verschuren zegt hier dus drie keer hetzelfde: je komt op die manier maar weinig te weten, Maar daar gaat het natuurlijk niet om. Weinig kan ook nuttig zijn; het gaat om de vraag of we na afloop iets meer weten.
Wat moeten die hordes wetenschappers, die zich door NWO laten verleiden en geen benul hebben van wat ze doen, volgens hem dan wél doen. Welnu, houdt u vast voor deze passage:
“Een alternatief voor het klassieke experiment is een vorm van experiment die in essentie lijkt op experimenteren in de alledaagse betekenis van gericht uitproberen. Via voortdurende observaties wordt nagegaan of, en zo ja, waarom, hoe en in hoeverre een onder volledig gecontroleerde omstandigheden ingevoerde factor X een fenomeen Y doet veranderen. De uitkomst hiervan is niet dat een hypothese waar of onwaar is zoals in het klassieke experiment. De opbrengst is een kijk in de processen en mechanismen die, aldus bijdragen aan ons inzicht en onze theorievorming.
Met het oog op dit laatste en op een hogere generaliseerbaarheid wordt dit experimenteren geflankeerd door grootschalig onderzoek. Hierin wordt een aantal samenhangende en uit het experimenteren van zojuist voortkomende hypothesen samengebracht en als een geheel getoetst. Ook het klassieke experiment wordt bij deze toetsing ingezet. Hierbij voert de onderzoeker zelf minimaal één geslaagde herhaling van het experiment uit alvorens de resultaten te presenteren.”
Deze aanpak maakt de wetenschap ‘hoger en rijker’, zegt Verschuren. Jammer genoeg is hier geen touw aan vast te knopen.
Dat alledaags ‘experimenteren’ (ik neem aan dat hij bedoelt: in de dagelijkse praktijk) geschiedt uiteraard nooit onder de door hem genoemde ‘volledig gecontroleerde omstandigheden’ en levert heel lastig harde conclusies. (Om dat te vergemakkelijken, is juist het klassieke experiment ontworpen.) Volgens Verschuren levert zo’n experiment een ‘kijk’ die bijdraagt aan inzicht en theorievorming. Meer zit er langs deze weg inderdaad niet in. Maar dan komt Verschuren aan met het idee om daarbij ‘geflankeerd’ (??) ‘grootschalig onderzoek’ te doen waarin ineens ‘samenhangende en uit het experimenteren van zojuist voorkomende hypothesen’ worden getoetst. Maar hij schreef toch dat dat experimenteren geen hypothesen oplevert, laat staan ‘samenhangende hypothesen’ die je dan ook nog fijn ‘als geheel’ kunt toetsen (Hoe? Wat?). En dan blijkt tot slot óók nog dat de geminachte ‘hordes’ in deze fase gewoon ‘klassiek’ aan de slag mogen gaan!
Zijn we hiermee verlost van de drie door Verschuren genoemde oorzaken van het gebrek aan repliceerbaarheid? Zijn de ‘klassieke’ groepen nu per definitie groter, de steekproeven aselect, en zullen tijdschriften minder geil zijn op mooie resultaten? Wat denkt u? Maar het meest potsierlijk dit hoogdravende ‘voorstel’ is natuurlijk de suggestie (het klinkt als een gedachte achteraf) dat onderzoekers, wanneer ze klaar zijn met kijken en grootschalig flankeren, dan bij hun artikel ook maar gelijk een positieve replicatie moeten opsturen – geniaal idee! Zo zijn we in één klap van dat replicatieprobleem af! De onderzoeker bevestigt zijn eigen resultaten!
Piet Verschuren was ooit hoogleraar onderzoeksmethodologie in Nijmegen. Wat zullen ze hem daar missen!
