Zou Isaac Newton zijn theorie vandaag nog gepubliceerd krijgen?

Het lijkt inmiddels alweer een eeuwigheid geleden, maar tot voor een aantal maanden werden we geregeld geconfronteerd met wetenschappelijke studies over het covid-19 virus die nog niet het ‘peer review’ proces (i.e., toetsing door collega’s) ondergaan hadden en ‘dus’ onbetrouwbaar waren. Nogal wat mensen die met ‘peer review’ te maken krijgen, moesten allicht meewarig lachen met een dergelijk naïef vertrouwen in dat systeem. Alsof het altijd feilloos slechte of fake studies tegenhoudt en goede studies laat passeren. De werkelijkheid is veel complexer en bij wijlen ook veel smeriger dan dat.

Onder professoren

Wie Willem Frederik Hermans’ Onder Professoren (1975) las, heeft er een idee van hoe het er in nogal wat academische departementen aan toegaat. Een Vlaams academicus liet onlangs zelfs uitschijnen dat het boek geen karikatuur of uitvergroting is maar veeleer een onderschatting van de realiteit. Minder bekend is dat die kleinmenselijkheid bij wijlen ook het peer review proces en het publicatiesysteem van academische papers besmet. Hoe zou het ook anders kunnen? Het gaat immers om dezelfde mensen.

Misbruik van macht

De meeste ‘peers’ zijn natuurlijk competent en correct. Zonder dat daar ook maar enige financiële vergoeding of academische erkenning tegenover staat. Iets wat je anderzijds ook als een groot gebrek in het systeem kunt zien. Dit neemt niet weg dat vrijwel iedereen die academische papers schrijft, nu en dan geconfronteerd wordt met experten die weinig competent zijn of die niet eens de moeite doen om hun vooringenomenheid of zelfs kwaadaardigheid te verbergen. Sommigen gaan er zelfs prat op dat ze nooit een manuscript goedkeuren.

Redacteurs falen

Ze zijn toch anoniem en worden niet beoordeeld op het afgeleverde werkstuk, dus niemand doet hen wat.* Meer nog: ze zijn boven alle twijfel verheven, als een soort van alwetende heiligen. Redacteurs hebben geen tijd en/of zin om zich veel aan te trekken van klachten over slechte, ‘biased’ of ronduit toxische reviews. De mythe van de alwetende en neutrale reviewer komt hen zeer goed uit.

Ook redacteuren zelf zijn trouwens niet vies van sporadisch misbruik van hun macht. Bijvoorbeeld door manuscripten die geprezen worden door experts of een revisie aanbeveling kregen, zonder boe of ba of onder een vals voorwendsel te verwerpen. Ook hen doet niemand wat. Als auteur ben je volledig overgeleverd aan hun willekeur.

Een oud zeer

Deze en andere netelige problemen zijn overigens genoegzaam bekend. Ze werden zelfs al meermaals in het lang en het breed uit de doeken gedaan. En niet door de minsten.

Zo vroeg de redacteur van het topblad Nature, John Maddox, zich in 1995, in een editoriaal met de veelzeggende titel, ‘Is the Principia publishable now?’ af of Isaac Newton dezer dagen zijn theorie nog zou kunnen publiceren. Misschien zou zijn concurrent Christiaan Huygens als peer reviewer vragen stellen bij die vreemde zwaartekracht en bijgevolg een publicatie blokkeren.

De editor van het toonaangevende medische tijdschrift BMJ, Richard Smith (te lezen via sci-hub), liet er in 2006 evenmin twijfel over bestaan: peer review is een hoogst gebrekkig proces :traag, duur, inconsistent, biased, en zeer gevoelig voor allerlei misbruiken.  Desondanks bevindt het zich toch ‘at the heart’ van de wetenschap.

Zie bijvoorbeeld ook ‘the mess that is peer review’, ‘let’s stop pretending peer review works’ ‘the ugly side of peer review’, ‘how to tell whether you victim of bad peer review’, of deze uithuil facebook groep met bijna 50.000 leden voor mensen die zich slachtoffer voelen van ‘reviewer 2’.

Geen verbetering in zicht

Waarom er zo goed als niks verandert (Biology Direct is, met haar alternatief peer review systeem, een uitzondering)? Tja, waarom vallen wielrenners nog altijd bij bosjes in de Tour de France? Of waarom blijven Gutmenschen zweren bij een vluchtelingensysteem dat ieder jaar opnieuw vele honderden of zelfs duizenden doden veroorzaakt en daarnaast ook nog eens een heuse maffia financiert?

Er zijn meerdere antwoorden op die vragen. Om te beginnen werken die systemen voor veel mensen wel. Het gros van de wielrenners bereikt zonder al teveel kleerscheuren Parijs. Menig vluchteling of migrant bereikt zonder al teveel problemen zijn of haar gedroomde eindbestemming. En het gros van de academische manuscripten wordt op een vrij correcte manier behandeld.

Never fight the system

Verder is het aartsmoeilijk om oude, ‘vertrouwde’ systemen te wijzigen of fundamenteel te verbeteren, hoe disfunctioneel ze ook mogen zijn. De academische wereld is zeker geen uitzondering op die regel. Zie bijvoorbeeld ook dit artikel over de financiering van wetenschappelijk onderzoek of dit artikel over de publicatiedruk.

Crap that nobody reads

Het feit dat het gros van de academische manuscripten vrij correct behandeld wordt, betekent nog niet noodzakelijk dat het huidige peer review systeem geen grote impact heeft. Om te beginnen is er de emotionele impact op mensen die slachtoffer worden van misbruiken door redacteurs en/of reviewers.

Verder vertraagt of verhindert het klassieke peer review systeem niet alleen de publicatie van goede studies die teveel afwijken van de norm. Het is allicht ook een van de redenen waarom de meeste academische papers, en in het bijzonder papers uit de humane wetenschappen, cryptische oefeningen zijn in academische esoterie die niet of nauwelijks gelezen worden, laat staan geciteerd door anderen. Dat soort papers passeren namelijk wellicht het makkelijkst de doorsnee peer review.

Het helpt met andere woorden verklaren ‘Why professors are writing crap that nobody reads.’**

* Het is bekend dat anonimiteit zowat een uitnodiging tot misbruik is, dat ligt in de aard van de mens. Zie bijvoorbeeld The Goodness Paradox (2019). Of lees het verhaal van ‘The Voyeur’s Motel’.

** Dat is natuurlijk een hyperbool. Niet dat er geen echte ‘crap’ geproduceerd wordt in academia. Dat gaat van vederlichte papers, tegen betaling gepubliceerd in ‘predatory journals’, tot inhoudsloze papers die de peer review van serieuze tijdschriften passeren, enkel en alleen omdat ze gewichtig klinken. Het gros van de papers (in het gros van de academische domeinen) behoort echter niet tot die categorie. Ze bevinden zich echter vaak wél ‘far on the periphery of human interest.’