Als wetenschappers andermans werk nakijken garandeert dat nog niets. Kijk maar.

Peer-review, de beoordeling vooraf van wetenschappelijke publicaties door collega’s, heeft lang op een voetstuk gestaan als garantie voor kwaliteit. Die tijd is voorbij. Peer-reviewers merken zelfs stupide rekenfouten niet op, die een leek wel meteen opvallen.  

Als wetenschapsjournalist ben je natuurlijk bijna dagelijks bezig allerlei wetenschappelijke publicaties te scannen. Een van de persberichten die me een paar maanden geleden opviel, ging over een onderzoek naar de schade door invasive alien species (exotisch onkruid, plaagdieren, etc.) in de landbouwsector in Afrika. Niet direct vanwege het onderwerp, dat bepaald niet tot m’n primaire interesse behoort, maar vanwege het gigantische schadebedrag dat daar mee gemoeid was: 3,6 biljoen dollar per jaar ($ 3.663.350.000.000, om precies te zijn).

Ik dacht meteen: ‘Dat kan niet’. In Afrika wonen ruwweg een miljard mensen, de meesten naar westerse maatstaven zeer arm, dus die verdienen met z’n allen in totaal niet eens 3,6 biljoen dollar per jaar. Inderdaad vermeldt ook het artikel dat dit anderhalf keer het bruto binnenlands product van heel Afrika is.

Hoewel ik even van plan was om daar dieper in te duiken, werd m’n aandacht al gauw weer door urgentere zaken in beslag genomen, dus het onderwerp zakte weg in m’n geheugen. Tot deze week, toen een officiële Correctie verscheen: het schadebedrag had 66 miljard dollar moeten zijn, 56 keer zo weinig, ofwel minder dan 2% van het oorspronkelijke bedrag.

Welk geavanceerd detectivewerk heeft tot deze correctie geleid? Kijk even mee naar onderstaande tabel uit het oorspronkelijke artikel:

De schade door invasive alien species (IAS) bestaat voor 99,2% uit de kosten van onkruid wieden. Die kostenpost is 125 keer zo groot als het verlies aan oogstopbrengst (yield loss) door IAS.  

Zelfs als je niets weet van Afrikaanse landbouw, moet zo’n tabel alarmbellen doen afgaan. Onkruid wieden doe je, om verlies aan oogst te voorkómen. Is het denkbaar, dat je als boer 125 dollar loon betaalt aan arbeiders om onkruid te wieden, voor elke dollar oogst die toch nog verloren gaat? Nee, want in de praktijk zou dit er op neer komen, dat als die boer een paar dollar extra oogstverlies accepteert, hij honderden dollars aan onkruid wieden bespaart. Geen boer bij z’n volle verstand zal dus zoveel geld aan wieden uitgeven – zelfs als hij dat geld had.

Gezond verstand

Blijkbaar hebben sommige mensen na publicatie en lezing van het artikel wel hun gezond verstand gebruikt: die ontdekten dat de kosten van onkruid wieden waren uitgerekend per vierkante kilometer, en daarna vermenigvuldigd met het aantal hectares landbouwgrond! Een vierkante kilometer is honderd hectare, dus de kosten van onkruid wieden waren met een factor honderd opgeblazen. 

Zo kom je uit bij de overeenkomstige tabel in het gecorrigeerde artikel, waarin de kosten van onkruid wieden exact honderd keer kleiner geworden zijn:

(er is nog een tweede fout gecorrigeerd, waardoor de yield loss een fractie hoger werd)

Zo’n suffe rekenfout kun je één keer maken; maar dat je die bij het schrijven van je eigen artikel niet opmerkt, zou zelfs in een profielwerkstuk voor de middelbare school onvergeeflijk zijn. Dit geldt te meer omdat dit bedrag niet slechts figureert in een tabel; het wordt door de onderzoekers in het artikel meermaals besproken, en stond zelfs in de kop van het persbericht. Dat zoiets blijft staan, verraadt een compleet onvermogen tot reflectie en zelfkritiek bij de onderzoekers.    

Je zou kunnen tegenwerpen: één stomme fout in één artikel, wat zegt dat over De Wetenschap? Heel wat, helaas. Dit artikel heeft veertien auteurs, gelieerd aan vijf onderzoeksinstituten. Het heeft het publicatietraject doorlopen van het prestigieuze wetenschappelijk uitgeefimperium Springer Nature.

Het tijdschrift in kwestie, CABI Agriculture and Bioscience  [https://cabiagbio.biomedcentral.com/], gaat er prat op dat het ‘rigoureus uitgevoerd, hoge kwaliteit, peer-reviewed’ onderzoek publiceert.

Meerdere peer-reviewers hebben er dus naar gekeken, minstens één eindredacteur van dat tijdschrift, mag je hopen, en dan nog een of meer communicatiemedewerkers die zich bemoeid hebben met de korte samenvatting voor de pers die Nature publiceerde. Bij niemand van al die mensen die zich ermee bemoeid hebben, is een belletje gaan rinkelen vanwege dat absurde bedrag van 3,6 biljoen dollar. Hebben al die mensen geen idee van het verschil tussen trillion en billion (in het Nederlands: biljoen en miljard)?

Fout hersteld: conclusie blijft zelfde!

Nu deze kapitale blunder is rechtgezet, beweren de onderzoekers doodleuk dat ‘de conclusies en aanbevelingen niet veranderd zijn’. Aan het afsluitende hoofdstuk ‘Conclusies’ is inderdaad geen letter veranderd, noch aan het hoofdstuk ‘Kosten van wieden’, dat die kosten in beide versies substantial noemt, maar geen getallen vermeldt. 

Het artikel eindigt met exact hetzelfde pleidooi: ‘Ons onderzoek levert bewijsmateriaal voor de noodzaak tot landelijke en regionale quarantaine en fytosanitaire maatregelen (…) wat extra, potentieel hoge kosten van de verspreiding van nieuwe IAS over het continent voorkomt.’  Kortom, ze hadden net zo goed geen onderzoek kunnen doen, en meteen hun conclusies en aanbevelingen opschrijven, want die cijfers maken niks uit.  

Lessen bij beweringen

Na anderhalf jaar corona, en recentelijk het nieuwe IPCC-rapport, staat wetenschappelijk onderzoek meer dan ooit in het brandpunt van de belangstelling. De term peer-reviewed geniet nu een veel bredere bekendheid, en wordt algemeen gezien als een kwaliteitsstempel. Wetenschappers, en soms zelfs gewone burgers, serveren op sociale media nieuw onderzoek af met het argument dat het maar een pre-print betreft, geen peer-reviewde publicatie.

Dat mensen zich meer bewust worden van dit onderscheid is op zich winst, maar die moeten we ook niet overschatten. Peer-review is beter dan niks, maar hoeveel beter, dat moet nog steeds per geval bekeken worden.