Hoe de discutabele wetenschapspraktijk “niet-reproduceerbaarheid” binnen de wetenschap zorgt voor de realiteit van dwaling en het fantoom van waarheid.
We zien een terugkerend probleem dat een bedreiging is voor de betrouwbaarheid van de wetenschap. Het gaat hier over de reproduceerbaarheid van onderzoeken. Deze wetenschapspraktijk houdt in dat een onderzoek kan worden herhaald en bij de herhaling met de bestaande data een vergelijkbaar resultaat wordt behaald, wat vervolgens de wetenschappelijke waarheid kan bevestigen. Weliswaar is dit zeer discutabel aangezien het tegenovergestelde steeds vaker gebeurd en het al tientallen jaren bijna onopgemerkt blijft. Doordat de reproduceerbaarheid uitblijft, is repliceerbaarheid automatisch onmogelijk. Daar doe je namelijk bijna hetzelfde, alleen gebruik je dan nieuwe data om met dezelfde methodiek het onderzoek te vernieuwen. De kwaliteit van wetenschap lijkt toch niet zo tijdloos als Brits etholoog Richard Dawkins in 2013 beweerde.
Ik overdrijf de grootte van het probleem niet, ook wetenschapsjournalist Natalie Wolchover bevestigd mijn zorgen en zei het volgende hierover: "Reproduceerbaarheid is het fundament van de wetenschap. Als we experimenten niet kunnen herhalen, kunnen we de resultaten niet vertrouwen, en als we resultaten niet kunnen vertrouwen, kunnen we geen wetenschap bedrijven." Daarnaast geloven meer dan 50% van de wetenschappers (uit een enquête onder 1500 wetenschappers) in een wetenschapscrisis door niet-reproduceerbaarheid van onderzoeken.
We duiken even het verleden in. Toen er in 1989 voor het eerst aan de bel werd getrokken bij de zogenaamde "cold fusion" studie. Twee electrochemici beweerden dat ze erin geslaagd waren om kernfusie op kamertemperatuur te bereiken in een elektrochemische cel, wat een belangrijke doorbraak zou betekenen in de nucleaire energie. Deze bevindingen kregen wereldwijde aandacht en werden gepubliceerd in het prestigieuze tijdschrift Nature. Echter, toen andere wetenschappers probeerden om de resultaten te reproduceren, lukte het hen niet om hetzelfde effect te bereiken, omdat de methodiek onduidelijk was. Dit leidde tot hevige discussies en kritiek, wat erin resulteerde dat de bevindingen van het onderzoek werden beschouwd als niet-reproduceerbaar en daarmee onbetrouwbaar.
We maken een sprong van 34 jaar naar het heden en we kunnen concluderen dat de niet-reproduceerbare onderzoeken zich snel hebben vermenigvuldigd. We zien bijvoorbeeld misvattingen in de stikstof-onderzoeken waarbij ieder wetenschapsteam een andere methodiek voor hun metingen heeft en dus met andere resultaten aankomt in Den Haag. Wat daarnaast nog zorgwekkender is, is dat deze discutabele wetenschapspraktijk ook voor onzekerheid zorgt in de gezondheidszorg. Als voorbeeld neem ik een studie naar een nieuwe behandeling voor de zeldzame ziekte spinale musculaire atrofie (SMA). In een onderzoek werd een nieuwe gentherapie ontwikkeld die veelbelovende resultaten liet zien bij de behandeling van SMA. Echter, toen andere onderzoekers de studie wilden herhalen om de resultaten te bevestigen, lukte het hen niet om dezelfde uitkomsten te bereiken. Na verdere analyse bleek dat de initiële studie enkele methodologische fouten bevatte, waardoor de resultaten niet nauwkeurig waren. Dit benadrukt het belang van reproduceerbaarheid en daarmee replicatie in wetenschappelijk onderzoek, met name dus in de gezondheidszorg, waar de resultaten van studies belangrijke consequenties kunnen hebben voor de behandeling van patiënten.
Waarom "niet-reproduceerbaarheid" specifiek het vertrouwen in de gehele wetenschap ondermijnt, is omdat een wetenschappelijk onderzoek eigenlijk altijd herhaalbaar en daarmee controleerbaar moet zijn. Zodra een onderzoek niet gereproduceerd kan worden, betekent het dus dat het een andere uitkomst krijgt of dat het onderzoek helemaal niet kan worden uitgevoerd, en er dus scepticisme ontstaat over de bestaande bevindingen. Er zijn veel betrouwbare onderzoeken die reproduceerbaar zijn, maar de toenemende publicatiedruk en de belangenverstrengeling in de wetenschap zorgen voor niet-reproduceerbaarheid wat andere discutabele wetenschapspraktijken vrij spel geeft en men kan doen twijfelen aan de algemene huidige wetenschap. Een ander potentieel gevolg van de discutabele onderzoeksbevindingen is dat ook het vertrouwen tussen wetenschappers onderling afneemt en kan leiden tot een vermindering van de bereidheid van wetenschappers om te delen en samen te werken met andere wetenschappers. Sinds de tijd van de Arabieren heeft de wetenschap twee functies gehad: ons in staat stellen dingen te weten en ons in staat stellen dingen te doen. Door de onbetrouwbaarheid die niet-reproduceerbaar onderzoek veroorzaakt zijn die twee functies twijfelachtig geworden en daardoor boeken we nauwelijks vooruitgang meer. Dit terwijl verandering de essentie van wetenschap is, en vasthoudendheid en stilstand juist behoort tot religie.
We moeten snel stappen ondernemen. Er moet een plan worden opgesteld waarin de werkdruk en marktwerking in de wetenschappelijke wereld een richtingscoëfficiënt van < 1 moet hebben en transparantie over methodiek de basis gaat vormen voor een betrouwbare wetenschap. Dit houdt in dat we ons eerst moeten focussen op de integriteit van wetenschappers. Hierin kunnen financieringsorganisaties helpen door meer financiering te verstrekken wanneer de onderzoeker zich houdt aan de transparantie en ethische richtlijnen. De open wetenschap die ik hier betoog zal vervolgens worden gerealiseerd uit het streven om methodologie zeer nauwkeurig en transparant te noteren, om vervolgens de resultaten eerlijk te rapporteren (open data), waarbij bronnen van bias worden geëlimineerd. De reproduceerbaarheid van onderzoeken zal dan gaan toenemen, de samenwerking tussen wetenschappers bevorderen, en de controleerbaarheid en dus de kwaliteit doen stijgen. Hiermee kunnen we de geloofwaardigheid van de wetenschap waarborgen en kan het weer bijdragen aan vooruitgang (repliceerbaarheid) door de bestuurders weer beslissingen te laten nemen op basis van onderzoeken die op solide wetenschappelijke grondslagen zijn gebaseerd. De wetenschap en staat kunnen dan verbonden blijven en vindt er dus geen noodgedwongen secularisme (als in 1917 tussen kerk en staat) plaats.
"Alleen de som van recepten die altijd lukken moet men wetenschap noemen. De rest is literatuur." (Frans dichter Paul Valéry 1871-1945).
Afbeelding: van dub.uu.nl
Reactie plaatsen
Reacties