Het probleem met wetenschap zijn wetenschappers

Vijf jaar geleden tweette astrofysicus en wetenschapscommunicator Neil deGrasse Tyson een zeer gedenkwaardige en quote-waardige tweet:

De aarde heeft een virtueel land nodig: #Rationalia, met een éénregelige Grondwet: Al het beleid zal gebaseerd zijn op bewijskracht

- Neil deGrasse Tyson (@neiltyson) 29 June 2016

Tysons ideale wereld sprak veel mensen aan die vermoeid waren van door emoties gedreven, krampachtige politiek en politieke stammenoorlogen die alle arena's van het openbare leven waren binnengedrongen, inclusief de wetenschap. Het sprak veel van zijn collega-wetenschappers aan, mensen die getraind waren om objectief te denken en hypothesen te testen op basis van observaties over de natuurlijke wereld.

Het enige probleem: de enorme hoeveelheid bewijs laat zien waarom het virtuele land Rational gewoon nooit zal gebeuren.

Dat komt omdat voor mensen rationeel denken een enorme hoeveelheid energie en moeite kost. Daardoor hebben we er meestal geen last van. In plaats daarvan wordt de overgrote meerderheid van ons denken volledig geleid door onze intuïtie - alleen onze instincten zonder dat vervelende storende rationele denken.

Deze tweedeling wordt meesterlijk en tot in detail uitgelegd door Nobelprijswinnaar Daniel Kahneman in zijn boek Snel en langzaam denken, en bedekt met een focus op politieke verdeeldheid in het meesterwerk van Jonathan Haidt De rechtvaardige geest. Beide zijn op zichzelf al fantastische werken en bieden fascinerende verklaringen waarom mensen verschillende opvattingen hebben en waarom het zo moeilijk is om ze te veranderen.

Wat nog belangrijker is, deze cognitieve tweedeling geldt voor iedereen, zelfs voor wetenschappers. Dat kan voor sommigen verrassend zijn (waaronder sommige wetenschappers blijkbaar), aangezien de... media en politici hebben wetenschappers geportretteerd (tenminste degenen waarmee ze het eens zijn) als doordrenkt met een magisch vermogen om absolute waarheid te onderscheiden en uit te spreken.

Dit kan niet verder van de realiteit zijn. Ik vertel mensen vaak dat het verschil tussen een wetenschapper en de gemiddelde persoon is dat een wetenschapper zich meer bewust is van wat hij/zij niet weet over hun specifieke vakgebied, terwijl de gemiddelde persoon niet weet wat hij/zij niet weet. Met andere woorden, iedereen lijdt aan verpletterende onwetendheid, maar wetenschappers zijn zich (hoop ik) meestal meer bewust van de diepte van hun onwetendheid. Ze hebben misschien af ​​en toe een idee over hoe ze een bepaalde hoeveelheid kennis iets kunnen vergroten, en soms kan dat idee zelfs succesvol blijken te zijn. Maar voor het grootste deel besteden ze hun tijd aan het nadenken over een diepe kloof aan kennis die specifiek is voor hun vakgebied.

Wetenschappers worden vaak gehinderd door hun eigen jarenlange ervaring en de mogelijk misleidende intuïtie die daardoor is ontstaan. In het boek Virusjager, vertellen de auteurs CJ Peters en Mark Olshaker hoe een voormalig CDC-directeur opmerkte dat “jonge, onervaren EIS-officieren (Epidemic Intelligence Service) die CDC gewoonlijk uitzond om uitbraken van mysterieuze ziekten en epidemieën te onderzoeken, eigenlijk enig voordeel hadden ten opzichte van hun meer ervaren en doorgewinterde ouderen. Hoewel ze een eersteklas training en de steun van de hele CDC-organisatie hadden, hadden ze niet genoeg gezien om vooraf bepaalde meningen te hebben en stonden ze daarom misschien meer open voor nieuwe mogelijkheden en hadden ze de energie om ze na te streven. Deskundigen zijn ook verschrikkelijk in het maken van voorspellingen, en zoals de onderzoeker en auteur Philip Tetlock in zijn boek uitlegt Deskundig politiek oordeel, ze zijn niet nauwkeuriger in het voorspellen dan de gemiddelde persoon. Meer recente mislukkingen van pandemische voorspellingsmodellen hebben deze conclusie alleen maar versterkt.

De meeste succesvolle wetenschappers kunnen hun bekronende prestaties herleiden tot werk dat heeft plaatsgevonden vroeg in hun carrière. Dit gebeurt niet alleen omdat wetenschappers meer werkzekerheid krijgen, maar ook omdat ze gehinderd worden door hun eigen ervaringen en vooroordelen. Toen ik eind jaren 90 laboratoriumtechnicus was, herinner ik me dat ik een immunoloog om advies vroeg over een experiment dat ik van plan was. Uiteindelijk gaf hij me een heleboel redenen waarom er geen goede manier was om dat experiment te doen en nuttige informatie te krijgen. Ik vertelde een postdoc over deze ontmoeting en ik herinner me dat ze zei: 'Luister niet naar hem. Die vent kan je alles afpraten". Ervaren wetenschappers zijn zich terdege bewust van wat niet werkt, en dat kan leiden tot onwil om risico's te nemen.

Wetenschappers opereren in een zeer competitieve omgeving waar ze gedwongen zijn om het grootste deel van hun tijd te besteden aan het zoeken naar financiering voor onderzoek door eindeloze subsidies te schrijven, waarvan de overgrote meerderheid niet-gefinancierd is. Om competitief te zijn voor deze beperkte pool, geven onderzoekers de meest positieve draai aan hun werk en publiceren ze hun meest positieve resultaten. Zelfs als de studie afwijkt van wat oorspronkelijk gepland was, leest het resulterende manuscript zelden op die manier. En deze druk leidt er vaak toe dat gegevensanalyse in een foutgevoelig spectrum valt, van meer onschuldige nadruk op positieve resultaten tot het negeren van negatieve of tegenstrijdige gegevens tot regelrechte verzinsel. Gedetailleerde voorbeelden hiervan worden gegeven door auteur Stuart Ritchie in zijn boek Sciencefiction: hoe fraude, vooringenomenheid, nalatigheid en hype de zoektocht naar de waarheid ondermijnen. Ritchie legt niet alleen uit hoe de wetenschap wordt vervormd door de druk om erkenning en financiering door goedbedoelende wetenschappers, hij gaat ook in op bloederige details over enkele van de meest productieve fraudeurs. Een andere uitstekende bron die wetenschappelijke fouten en onderzoeksmisdrijven behandelt, is de website terugtrekken Horloge. Het grote aantal ingetrokken papieren, veel door dezelfde wetenschappers, benadrukken het belang van het documenteren en bestrijden van wetenschappelijke fraude.

De problemen met rapportage van onderzoeksdata en reproduceerbaarheid zijn al jaren bekend. In 2005, Stanford-professor John Ioannidis, een van de meest geciteerde wetenschappers, publiceerde een van de meest geciteerde artikelen (meer dan 1,600), Waarom de meeste gepubliceerde onderzoeksresultaten onjuist zijn. In het onderzoek gebruikte Ioannidis wiskundige simulaties om aan te tonen dat het voor de meeste onderzoeksontwerpen en -instellingen waarschijnlijker is dat een onderzoeksclaim onwaar is dan waar. Bovendien zijn geclaimde onderzoeksresultaten voor veel huidige wetenschappelijke gebieden vaak gewoon nauwkeurige metingen van de heersende vooringenomenheid." Ioannidis bood ook aan zes uitvloeisels afgeleid uit zijn conclusies: 

1. Hoe kleiner de onderzoeken op een wetenschappelijk gebied, hoe kleiner de kans dat de onderzoeksresultaten waar zijn.
2. Hoe kleiner de effectgroottes in een wetenschappelijk veld, hoe kleiner de kans dat de onderzoeksresultaten waar zijn.
3. Hoe groter het aantal en hoe kleiner de selectie van geteste relaties in een wetenschappelijk veld, hoe kleiner de kans dat de onderzoeksresultaten waar zijn.
4. Hoe groter de flexibiliteit in ontwerpen, definities, uitkomsten en analytische modi in een wetenschappelijk veld, hoe kleiner de kans dat de onderzoeksresultaten waar zijn.
5. Hoe groter de (financiële) belangen en vooroordelen op een wetenschappelijk gebied, hoe kleiner de kans dat de onderzoeksresultaten waar zijn.
6. Hoe heter een wetenschappelijk veld (met meer wetenschappelijke teams erbij), hoe kleiner de kans dat de onderzoeksresultaten waar zijn.

Als je goed naar de lijst kijkt, zouden 5 en 6 eruit moeten springen en naar je schreeuwen. Hier is een nadere blik:

“Gevolg 5: Hoe groter de (financiële) belangen en vooroordelen op een wetenschappelijk gebied, hoe kleiner de kans dat de onderzoeksresultaten waar zijn. Belangenconflicten en vooroordelen kunnen vooroordelen, u. Belangenconflicten komen veel voor in biomedisch onderzoek en worden doorgaans onvoldoende en schaars gerapporteerd. Vooroordelen hoeven niet per se financiële wortels te hebben. Wetenschappers in een bepaald vakgebied kunnen bevooroordeeld zijn puur vanwege hun geloof in een wetenschappelijke theorie of toewijding aan hun eigen bevindingen (nadruk van mij). Veel, anders ogenschijnlijk onafhankelijke, universitaire studies kunnen alleen worden uitgevoerd om artsen en onderzoekers kwalificaties te geven voor promotie of vaste aanstelling. Dergelijke niet-financiële conflicten kunnen ook leiden tot vertekende gerapporteerde resultaten en interpretaties. Prestigieuze onderzoekers kunnen via het peer review-proces het verschijnen en verspreiden van bevindingen die hun bevindingen weerleggen, onderdrukken, en zo hun vakgebied veroordelen tot het bestendigen van valse dogma's. Empirisch bewijs over de mening van deskundigen toont aan dat het uiterst onbetrouwbaar is.

“Gevolg 6: Hoe heter een wetenschappelijk veld (met meer wetenschappelijke teams erbij), hoe kleiner de kans dat de onderzoeksresultaten waar zijn. Dit schijnbaar paradoxale gevolg volgt omdat, zoals hierboven vermeld, de PPV (positief voorspellende waarde) van geïsoleerde bevindingen neemt af wanneer veel teams van onderzoekers in hetzelfde vakgebied betrokken zijn.Dit zou kunnen verklaren waarom we af en toe grote opwinding zien, gevolgd door ernstige teleurstellingen op gebieden die veel aandacht trekken. Met veel teams die op hetzelfde veld werken en met enorme experimentele gegevens die worden geproduceerd, is timing van essentieel belang om de concurrentie te verslaan. Dus, elk team kan prioriteit geven aan het nastreven en verspreiden van de meest indrukwekkende "positieve" resultaten... "

Wetenschappers die bevooroordeeld waren vanwege hun overtuigingen, gemotiveerd door de "hitte" van het veld, en dus prioriteit geven aan positieve resultaten, zijn allemaal overduidelijke bronnen van vooringenomenheid in SARS-CoV-2-onderzoek. Ioannidis en collega's hebben gepubliceerd op de explosie van gepubliceerd SARS-CoV-2-onderzoek, en merkt op dat "210,863 artikelen relevant zijn voor COVID-19, wat goed is voor 3.7% van de 5,728,015 artikelen over alle wetenschappelijke publicaties die zijn gepubliceerd en geïndexeerd in Scopus in de periode van 1 januari 2020 tot 1 augustus 2021." Auteurs van COVID-19-gerelateerde artikelen waren experts op bijna elk gebied, waaronder "visserij, ornithologie, entomologie of architectuur". Tegen het einde van 2020 zal Ioannidis schreef, “alleen autotechniek had geen wetenschappers die publiceerden over COVID-19. Begin 2021 hadden ook de auto-ingenieurs hun zegje.” Anderen hebben ook opmerkingen gemaakt over de “covidisatie"Van onderzoek, met de nadruk op de vermindering van de kwaliteit van onderzoek, aangezien COVID-manie onderzoekers van niet-gerelateerde velden naar het populairste en meest lucratieve spel in de stad dreef.

Zoals ik in twee eerdere berichten heb besproken, universele maskering en rapportage over COVID-schade aan kinderen zijn onherstelbaar gepolitiseerd en vervormd als gevolg van de ongebreidelde vooroordelen van media, politici, wetenschappers en volksgezondheidsorganisaties. Maar de echte boosdoener is misschien het publiek zelf, en de eerste-wereld, risicovrije veiligheidscultuur die al deze spelers heeft aangemoedigd om de schade te overdrijven om gedragsveranderingen bij de niet-conforme mensen af ​​te dwingen. Bovendien willen de meeste volgzame mensen die “de pandemie serieus nemen” weten dat alle offers die ze hebben gebracht de moeite waard zijn geweest. 

Wetenschappers en media zijn echter meer dan blij om leveren:

"Stel je voor dat je een wetenschapper was en wist dat een gunstige conclusie van je onderzoek zou leiden tot onmiddellijke erkenning door The New York Times, CNN en andere internationale media, terwijl een ongunstig resultaat zou leiden tot vernietigende kritiek van je collega's, persoonlijke aanvallen en censuur op sociale media en moeite met het publiceren van uw resultaten. Hoe zou iemand daarop reageren?”

Het antwoord ligt voor de hand. De overweldigende wens van een doodsbang publiek naar bewijs van interventies die het risico op infectie effectief elimineren, zal wetenschappers onvermijdelijk onder druk zetten om dat bewijs te leveren. Idealiter zou een erkenning van deze vooringenomenheid resulteren in meer scepsis van andere wetenschappers en media, maar dat is niet gebeurd. Overdreven vorderingen of werkzaamheid van interventies en overdreven schade aan hun acceptatie bevorderen zijn de norm geworden in pandemierapportage.

Zoals ik besprak in de vorige post, is de beste manier om onderzoeksbias te verminderen, dat onderzoekers neutrale partners uitnodigen om werk te repliceren en samen te werken aan aanvullende onderzoeken. De mogelijkheid om alle gegevens beschikbaar te maken voor het publiek en andere wetenschappers nodigt ook uit tot kritische beoordelingen die via crowdsourcing zijn verkregen en dus mogelijk nauwkeuriger en minder bevooroordeeld zijn. Openbare beschikbaarheid van datasets en documenten heeft geleid tot een verbetering van: pandemie voorspelling en heeft de mogelijkheid van een laboratoriumlek voor SARS-CoV-2 uit samenzweringstheorie schaduwen en in het openbaar licht.

Als gevolg van open data en transparante documentatie hebben anderen geklaagd dat deze middelen zijn misbruikt door fauteuil wetenschappers of wetenschappers die zich bezighouden met epistemische overtreding buiten hun respectieve velden, wat resulteert in een enorme, verwarrende stapel misleidende informatie. Maar zelfs als het proces van de wetenschap alleen beperkt is tot 'experts', levert de overgrote meerderheid van de onderzoeken heel weinig op waardevolle of nauwkeurige informatie aan andere onderzoekers of het grote publiek.

Alleen door een hard natuurlijk selectie- en peer-replicatieproces overleven de beste ideeën na hun aanvankelijke hype. Het is ook belangrijk op te merken dat groepen onderzoekers in een bepaald vakgebied zo verlamd kunnen raken door interne en politieke vooroordelen en giftig groepsdenken dat alleen degenen buiten hun vakgebied de aandacht op het probleem kunnen vestigen. Daarom is het vermogen van andere wetenschappers en het publiek om te helpen bij het langetermijncorrectieproces van de wetenschap de beste manier om dichter bij de waarheid te komen, ondanks onze collectieve tekortkomingen.

Herdrukt van de auteur subgroep