Een tweede Stapel! Alweer fraudeschandaal in de wetenschap! De media konden hun geluk niet op. De Rotterdamse consumentengedrag-prof Dirk Smeesters is door de mand gevallen. Hij heeft met zijn cijfers geknoeid. En opnieuw moeten de wetenschapsbobo’s opdraven om de schade te beperken. Een mooi eerste klusje voor de nieuwe president van de KNAW, Hans Clevers. Ja, het was erg. En nee, verder is er niks aan de hand.
Was het erg? Nee, Smeesters deed eigenlijk niks bijzonders.
Smeesters werd niet betrapt; hij is zélf naar de integriteitscommissie van de Erasmus Universiteit gestapt nadat een Amerikaanse collega zijn gegevens too good to be true had genoemd. Hij begreep onmiddellijk dat die kritiek rond zou gaan zingen, en besloot de geruchten vóór te zijn. Want hij voelde zich nergens schuldig aan. Zijn cijfers waren inderdaad too good, dat wil zeggen, ze waren mooier dan je op grond van de kansverwachting mag verwachten. Betekent dat dat hij net als Stapels gegevens verzonnen heeft? Nee, Smeesters heeft afwijkende gegevens uit het onderzoek geflikkerd. Om het resultaat mooier te maken. En daar is niks mis mee omdat veel onderzoekers, zo liet hij weten, ‘gebruikmaken van het bewust weglaten van data om significantie te bereiken, zonder dit te vermelden.’
Volgens weer een andere bobo, de Rotterdamse rector Schmidt, is dat ‘een wetenschappelijke fout’.
Smeesters vertrok. Maar beide heren hebben gelijk.
Uitbijters, heette dat in mijn tijd, bij de vakgroep sterrenkunde. Van die meetpunten die ver buiten het gemiddelde gedrag vallen. Die ergens eenzaam hoog of laag boven of onder de grafiek bungelen. Daar was blijkbaar iets mis gegaan. En vaak had de onderzoeker geen flauw benul wát er mis was gegaan. Gewoon een gekke ster. Een vuiltje, een storinkje. Zo’n uitbijter, daar werd wat smalend naar gekeken, en daar werd verder geen aandacht aan besteed. Zoiets kon gebeuren. En als het tijd werd om uit te rekenen of de uitkomst van je onderzoek wel significant was, dan kon het vaak heel handig zijn om een flink aantal uitbijters uit je gegevens te gooien. Daar was toch iets mis mee. Die geven alleen maar ruis, die halen je significantie naar beneden.
Zo ging én gaat dat in de wetenschap. Het mooiste zou zijn indien onderzoekers de uitbijters éérst zouden aanwijzen en verwijderen, volgens heldere criteria, en dán pas gaan kijken of het resultaat (van de resterende, brave meetpunten) een beetje mooi is. Maar dat is het ideaal. In de praktijk – en dat geldt voor álle wetenschappen waar je met statistische resultaten zit – gaat de onderzoeker een paar keer heen en weer van cijfers naar conclusies, en weer terug. Als hij nu eens dat-en-dat opschrijft, en daarbij die-en-die meetpunten weglaat… dan klopt het veel beter. En met die punten eruit… want die zijn op maandag gemeten… Een wetenschappelijk artikel laat zich weliswaar lezen als een simpel verslag van straighforward onderzoek (‘en toen deed ik dit, en zag ik dat…’) maar in feite is het het resultaat van een hoop geschuif en gezoek, en inderdaad: ook van het masseren van de cijfers.
Niks mis mee. Als het resultaat interessant genoeg is, zullen anderen het proberen te repliceren, of te verbeteren, en die ontdekken dan al snel hoe de vork écht in de steel zit. Replicaties blijven uit. Wie te veel masseert, blijft zitten met een mooie lijst publicaties waar anderen hun schouders bij ophalen. En als ze dan, uit achterdocht, eens goed naar de cijfers kijken, dan kunnen ze soms zien dat die too good to be true zijn.
Schmidt heeft gelijk. Het is een fout. Smeesters heeft gelijk. Dat weglaten van gegevens voor een gladder resultaat is helemaal niet uitzonderlijk. Smeesters is zeker geen fraudeur à la Stapel. Hij is een doodgewone wetenschapper. Als zijn gedrag een reden voor ontslag is, lopen de universiteiten de komende maanden behoorlijk snel leeg.
