In de discussie die volgde op de onderzoeksfraude van Diederik Stapel bleef een essentiële partij opmerkelijk buiten schot. Kwaliteitsbewaking is in de wetenschap niet primair de taak van een meerdere – aan een universiteit is ‘een baas’ een vreemd begrip – maar van gelijken. Peer review is de onvertaalbare naam van het mechanisme dat ervoor moet zorgen dat gepubliceerd werk van hoge kwaliteit is. De peer review heeft blijkbaar bij alle publicaties van Stapel gefaald, maar de reviewers die de kwaliteit hadden moeten waarborgen zijn daarmee weggekomen.
Anonimiteit als ideaal
Wetenschappers sturen hun werk in artikelvorm op naar tijdschriften. De redactie daarvan zoekt vervolgens naar peers – onderzoekers met min of meer dezelfde specialisme als de auteur – met het verzoek het artikel te reviewen. De review is dubbel blind: alleen de redactie kent de koppeling auteur-reviewer. De reviewer geeft feedback aan de auteur en doet een aanbeveling aan de redactie (zie dit voorbeeldformulier). Er zijn daarbij grofweg drie mogelijkheden: accepteren met kleine aanpassingen, laten herzien en opnieuw indienen, en afwijzen.
De logica achter de anonieme aard van het proces is tweezijdig. Aan de ene kant is het bedoeld om te voorkomen dat ‘bekende’ wetenschappers voorgetrokken worden. Als je weet dat het artikel van Einstein is, beoordeel je het vast minder kritisch dan wanneer het van een eerstejaars promovendus is. Daarnaast beschermt de blindheid de reviewer, waardoor deze eerlijk zijn mening kan geven. Een auteur kan immers niet later verhaal komen halen waarom hij is afgewezen. De wetenschap is een wereld die tegelijkertijd collegiaal en competitief is.
Auteur is te weinig anoniem
Omdat de reviews gedaan moeten worden door iemand uit hetzelfde veld, is de kans groot dat de reviewer de auteur kent. Onderzoek wordt meestal eerst op conferenties gepresenteerd, waar wetenschappers elkaar leren kennen en kennis nemen van de dringende kwesties in het veld. Van de belangrijke en iets minder belangrijke mensen in mijn veld weet ik precies waar ze aan werken.
Het internet heeft peer review nog iets minder blind gemaakt. De titel van een artikel googelen leidt meestal direct tot de naam van de auteur, omdat hij zijn paper al eens gepresenteerd heeft op een conferentie waarvan het programma uiteraard online staat.
De hoofdredactie van een tijdschrift heeft veel macht in dit proces. Zij kunnen bij bevriende auteurs gunstige reviewers kiezen. Daarnaast zijn zij degenen die de reviews tegen elkaar afwegen en beoordelen. Als reviewer 1 afwijst en reviewer 2 publicatie aanbeveelt, velt de hoofdredactie een oordeel. Het is daarbij in hun belang ‘namen’ voorrang te geven. Grote namen worden meer geciteerd en hoe meer artikelen geciteerd worden, hoe hoger het aanzien van het tijdschrift (de zogeheten impactfactor).
Reviewer is te veel anoniem
Peer review is dus niet blind in de zin dat de reviewer goed kan inschatten wie de auteur is. Het proces is echter wel aan de andere kant blind: auteurs komen zelden te weten wie de reviewer is. We weten wat anonimiteit doet met commenters op het internet en wetenschappers zijn wat dat betreft geen haar beter. Anonimiteit geeft reviewers carte blanche hun gal te spuwen. Waar je op conferenties beleefde en opbouwende uitwisselingen hebt met je collega, krijg je in een review van wellicht dezelfde persoon denigrerend commentaar.
Anonimiteit zorgt er ook voor dat de reviewer geen enkele verantwoordelijkheid draagt voor zijn kwaliteitscontrole. Een goed paper kan afgewezen worden omdat de reviewer het ziet als competitie of omdat hij het paradigma niet onderschrijft. Een slecht paper kan geaccepteerd worden omdat de reviewer bevriend is met de auteur, gecharmeerd is omdat hij geciteerd wordt of gewoon lui is.
Transparantie
Zoals gezegd wordt er op conferenties met open vizier gediscussieerd over de kwaliteit van onderzoek. Dit kan ook met publicaties worden gedaan. Maak de identiteit van de reviewer bekend en laat hem dus ook rekenschap afleggen voor zijn review. Met de digitalisering is het mogelijk geworden om naast het artikel ook de reviews te publiceren. Hiermee kan de lezer onderzoek en onderzoeksproces beter op waarde schatten: wat waren de bezwaren van de reviewers en welke aanpassingen zijn er vervolgens gedaan? Wanneer collega’s de reviewer kunnen aanspreken op slecht werk – hoe heb je het valse werk van Stapel kunnen goedkeuren? – wordt de reviewer gedwongen beter werk af te leveren.
CC Foto: Vmenkov
