Plausibiliteit, maar niet de wetenschap heeft de publieke discussies over de Covid-pandemie gedomineerd

“Aanvallen op mij zijn, eerlijk gezegd, aanvallen op wetenschap.” ~ Anthony Fauci, 9 juni 2021 (MSNBC).

Belachelijk.

Om te beginnen heeft Dr. Fauci tijdens de Covid-19-pandemie niet nauwkeurig gerapporteerd over wetenschappelijke vragen. Voor een ander is de essentiële dialectiek van de wetenschap argumenteren, vragen stellen, debatteren. Zonder debat is wetenschap niets meer dan propaganda. 

Toch kan men zich afvragen hoe het mogelijk is geweest om gedurende bijna drie jaar technisch materiaal aan het Amerikaanse publiek, zo niet aan het internationale publiek, te presenteren en algemeen te begrijpen dat de zaken "wetenschappelijk" waren, terwijl ze dat in feite niet waren. ? Ik beweer dat wat in de loop van de pandemie via de traditionele media aan dit publiek is voorgeschoteld, grotendeels plausibiliteit is geweest, maar geen wetenschap, en dat zowel het Amerikaanse als het internationale publiek, evenals de meeste artsen en wetenschappers zelf, niet kunnen zeggen het verschil. Het verschil is echter fundamenteel en diepgaand.

Wetenschap begint met theorieën, hypothesen, die verifieerbare empirische vertakkingen hebben. Niettemin zijn die theorieën geen wetenschap; zij motiveren wetenschap. Wetenschap vindt plaats wanneer individuen experimenten doen of observaties doen die betrekking hebben op de implicaties of vertakkingen van de theorieën. Die bevindingen hebben de neiging om de theorieën te ondersteunen of te weerleggen, die vervolgens worden aangepast of bijgewerkt om zich aan te passen aan de nieuwe waarnemingen of worden weggegooid als overtuigend bewijs aantoont dat ze de natuur niet beschrijven. De cyclus wordt dan herhaald. Wetenschap is de uitvoering van empirisch of observatiewerk om bewijs te verkrijgen dat theorieën bevestigt of weerlegt.

Over het algemeen zijn theorieën plausibele beweringen die iets specifieks beschrijven over hoe de natuur werkt. Plausibiliteit is in de ogen van de toeschouwer, aangezien wat plausibel is voor een technisch onderlegde expert misschien niet plausibel is voor een leek. Bijvoorbeeld - misschien al te vereenvoudigd - heliocentrisme was niet aannemelijk voordat Nicolaus Copernicus zijn theorie in 1543 publiceerde, en het was daarna nog geruime tijd niet erg aannemelijk, totdat Johannes Kepler begreep dat astronomische metingen van Tycho Brahe suggereerden de Copernicaanse cirkelbanen te verfijnen tot ellipsen. , evenals dat wiskundige regels de planetaire bewegingen langs die ellipsen leken te beheersen - maar de redenen voor die wiskundige regels, ook al waren het goede beschrijvingen van de bewegingen, waren pas aannemelijk toen Isaac Newton in 1687 het bestaan ​​van een universele zwaartekracht stelde. kracht tussen massa's, samen met een massa-proportionele, omgekeerde vierkante afstandswet die de grootte van de zwaartekrachtaantrekking regelt, en observeerde talloze kwantitatieve verschijnselen die consistent zijn met en deze theorie ondersteunen.

Voor ons vandaag denken we nauwelijks na over de plausibiliteit van elliptische heliocentrische banen in het zonnestelsel, omdat observatiegegevens die 335 jaar beslaan zeer consistent zijn met die theorie. Maar we zouden kunnen aarzelen om het plausibel te vinden dat licht tegelijkertijd als deeltjes en golven reist, en dat het doen van metingen aan het licht, wat we doen als waarnemers, bepaalt of we deeltjesgedrag of golfgedrag zien, en we kunnen ervoor kiezen om ofwel deeltjes te observeren. of golven, maar niet beide tegelijk. De natuur is niet noodzakelijk plausibel.

Maar toch zijn plausibele theorieën gemakkelijk te geloven, en dat is het probleem. Dat is wat ons gedurende bijna drie jaar van de Covid-19-pandemie is gevoed. In feite krijgen we echter al veel langer plausibiliteit in plaats van wetenschap.

Cargo-Cult-wetenschap

Charlatans die beweerden lepels te buigen met hun geest, of die beweerden onbevestigde, niet-repliceerbare 'buitenzintuiglijke waarneming' te bestuderen, waren erg populair in de jaren zestig en zeventig. Vreemde overtuigingen in wat 'wetenschap' kon vaststellen, bereikten zo'n niveau dat natuurkunde Nobelprijswinnaar Richard Feynman in 1960 de Caltech-toespraak hield (Feynman, 1970) en klaagde over dergelijke irrationele overtuigingen. Zijn opmerkingen waren niet gericht op het grote publiek, maar op afstuderende Caltech-studenten, van wie velen waren voorbestemd om academische wetenschappers te worden.

In zijn toespraak beschreef Feynman hoe South Sea Islanders, na de Tweede Wereldoorlog, Amerikaanse soldaten imiteerden die daar tijdens de oorlog waren gestationeerd en die vliegtuiglandingen van voorraden hadden geleid. De eilandbewoners reproduceerden met behulp van lokale materialen de vorm en het gedrag van wat ze hadden gezien van de Amerikaanse GI's, maar er kwamen geen voorraden.

In onze context zou het punt van Feynman zijn dat totdat een theorie objectief empirisch bewijs heeft, het slechts een theorie blijft, ongeacht hoe plausibel het ook mag lijken voor iedereen die het onderschrijft. De eilandbewoners misten het cruciale feit dat ze niet begrepen hoe het bevoorradingssysteem werkte, ondanks hoe aannemelijk hun reproductie ervan voor hen was. Dat Feynman zich gedwongen voelde om afstuderende Caltech-studenten te waarschuwen voor het verschil tussen plausibiliteit en wetenschap, wat suggereert dat dit verschil niet voldoende werd geleerd in hun opleiding aan het Instituut. Het werd niet expliciet onderwezen toen deze auteur daar in die jaren een student was, maar op de een of andere manier werd van ons verwacht dat we het 'door osmose' hadden geleerd.

Op bewijzen gebaseerde geneeskunde

Er is vandaag misschien geen grotere plausibiliteitszwendel dan "evidence-based medicine” (EBM). Deze term werd bedacht door Gordon Guyatt in 1990, nadat zijn eerste poging, 'Scientific Medicine', vorig jaar niet werd geaccepteerd. Als universitair epidemioloog in 1991 was ik beledigd door de overmoed en onwetendheid bij het gebruik van deze term, EBM, alsof medisch bewijs op de een of andere manier 'onwetenschappelijk' was totdat er een nieuwe discipline met nieuwe regels voor bewijs werd uitgeroepen. Ik was niet de enige met kritiek op EBM (Sackett et al., 1996), hoewel veel van die negatieve reacties gebaseerd lijken te zijn op het verlies van narratieve controle in plaats van op objectieve beoordeling van wat medisch onderzoek feitelijk had bereikt zonder 'EBM'.

Westerse medische kennis is gedurende duizenden jaren opgebouwd. In de Hebreeuwse Bijbel (Exodus 21:19): "Als twee partijen ruzie maken en de een de ander slaat, zal het slachtoffer volledig genezen worden" [mijn vertaling], wat inhoudt dat er personen waren met bepaalde medische kennis en dat er een zekere mate van werkzaamheid geërfd. Hippocrates suggereerde in de vijfde-vierde eeuw vGT dat de ontwikkeling van ziekten misschien niet willekeurig is, maar verband houdt met blootstellingen vanuit de omgeving of met bepaald gedrag. In die tijd waren er genoeg van wat we tegenwoordig zouden beschouwen als tegenvoorbeelden van goede medische praktijken. Toch was het een begin om na te denken over rationeel bewijs voor medische kennis.

James Lind (1716-1794) pleitte voor bescherming tegen scheurbuik door het eten van citrusvruchten. Deze behandeling was bij de ouden bekend en was in het bijzonder eerder aanbevolen door de Engelse militaire chirurg John Woodall (1570-1643) - maar Woodall werd genegeerd. Lind krijgt de eer omdat hij in 1747 een kleine maar succesvolle niet-gerandomiseerde, gecontroleerde proef uitvoerde van sinaasappels en citroenen versus andere stoffen onder 12 scheurbuikpatiënten.

Tijdens de jaren 1800 werd het gebruik van koepokken door Edward Jenner als een pokkenvaccin uitgewerkt door het kweken in andere dieren en werd het algemeen gebruikt bij uitbraken, zodat tegen de tijd van de zaak van het Hooggerechtshof van 1905 Jacobson v. Massachusetts, zou de opperrechter kunnen beweren dat vaccinatie tegen pokken volgens de medische autoriteiten een algemeen aanvaarde procedure is. Medische tijdschriften begonnen ook in de 1800e eeuw met regelmatige publicaties. Bijvoorbeeld de Lancet begon met publiceren in 1824. Toenemende medische kennis begon meer in het algemeen en breder te worden gedeeld en besproken.

Fast-forward naar de jaren 1900. In 1914-15 voerde Joseph Goldberger (1915) een niet-gerandomiseerde voedingsinterventiestudie uit die concludeerde dat pellagra werd veroorzaakt door een gebrek aan niacine via de voeding. In de jaren twintig werden vaccins tegen difterie, kinkhoest, tuberculose en tetanus ontwikkeld. Insuline werd geëxtraheerd. Vitaminen, waaronder vitamine D voor het voorkomen van rachitis, werden ontwikkeld. In de jaren dertig van de vorige eeuw begonnen antibiotica te worden gemaakt en effectief te worden gebruikt. In de jaren 1920 werd paracetamol ontwikkeld, evenals chemokuren, en begon geconjugeerd oestrogeen te worden gebruikt om opvliegers in de menopauze te behandelen. Effectieve nieuwe medicijnen, vaccins en medische hulpmiddelen groeiden exponentieel in aantal in de jaren vijftig en zestig. Allemaal zonder EBM.

In 1996, in reactie op kritiek op EBM, David Sackett et al. (1996) probeerde de algemene principes ervan uit te leggen. Sackett beweerde dat EBM voortkwam uit "Goede artsen gebruiken zowel individuele klinische expertise als het best beschikbare externe bewijs." Dit is een anodyne plausibiliteitsimplicatie, maar beide componenten zijn fundamenteel verkeerd of op zijn minst misleidend. Door deze definitie te formuleren in termen van wat individuele artsen zouden moeten doen, suggereerde Sackett dat individuele beoefenaars hun eigen klinische observaties en ervaring zouden moeten gebruiken. De algemene bewijskracht van de klinische ervaring van één persoon is echter waarschijnlijk zwak. Net als andere vormen van bewijs moet klinisch bewijs systematisch worden verzameld, beoordeeld en geanalyseerd om een ​​synthese van klinisch redeneren te vormen, die dan de klinische component van wetenschappelijk medisch bewijs zou leveren.

Een grotere mislukking van bewijsredenering is de bewering van Sackett dat men "het best beschikbare externe bewijsmateriaal" zou moeten gebruiken in plaats van allen geldig extern bewijs. Oordelen over wat 'beste' bewijs is, zijn zeer subjectief en leveren niet noodzakelijkerwijs algehele resultaten op die kwantitatief het meest nauwkeurig en nauwkeurig zijn (Hartling et al., 2013; Bae, 2016). Bij het formuleren van zijn nu canonieke "aspecten" van bewijskrachtige causale redenering, nam Sir Austin Bradford Hill (1965) geen aspect op van wat "beste" bewijs zou vormen, noch suggereerde hij dat studies zouden moeten worden gemeten of gecategoriseerd voor "kwaliteit van studie". zelfs niet dat sommige soorten studieontwerpen intrinsiek beter zijn dan andere. In de Referentiehandleiding voor wetenschappelijk bewijs, stelt Margaret Berger (2011) expliciet: “... veel van de meest gerespecteerde en prestigieuze wetenschappelijke instanties (zoals het International Agency for Research on Cancer (IARC), het Institute of Medicine, de National Research Council en het National Institute voor Milieugezondheidswetenschappen) al het relevante beschikbare wetenschappelijke bewijsmateriaal als geheel beschouwen om te bepalen welke conclusie of hypothese met betrekking tot een oorzakelijke bewering het best wordt ondersteund door de hoeveelheid bewijsmateriaal. Dit is precies Hill's aanpak; zijn aspecten van causaal redeneren worden al meer dan 50 jaar op grote schaal gebruikt om te redeneren van observatie naar oorzakelijk verband, zowel in de wetenschap als in het recht. Dat EBM gebaseerd is op subjectief 'beste' bewijsmateriaal is een plausibele methode, maar geen wetenschappelijke.

In de loop van de tijd lijkt de EBM-benadering voor het selectief overwegen van 'beste' bewijsmateriaal te zijn 'afgezwakt', eerst door gerandomiseerde gecontroleerde onderzoeken (RCT's) bovenaan een piramide van alle onderzoeksontwerpen te plaatsen als het veronderstelde 'gouden standaard'-ontwerp, en later, als het beweerde enige type onderzoek dat kan worden vertrouwd om onbevooroordeelde schattingen van effecten te verkrijgen. Alle andere vormen van empirisch bewijs zijn "potentieel bevooroordeeld" en daarom onbetrouwbaar. Dit is een aannemelijke verwaandheid, zoals ik hieronder zal aantonen.

Maar het is zo plausibel dat het routinematig wordt onderwezen in het moderne medische onderwijs, zodat de meeste artsen alleen RCT-bewijs overwegen en alle andere vormen van empirisch bewijs verwerpen. Het is zo aannemelijk dat deze auteur er in de uitzending een verbaal gevecht over had met een medisch ongeschoolde televisiecommentator die geen ander bewijs leverde dan plausibiliteit (Whelan, 2020): Is het niet 'gewoon duidelijk' dat als je proefpersonen randomiseert, verschillen moeten worden veroorzaakt door de behandeling en zijn er geen andere soorten onderzoeken te vertrouwen? Duidelijk, ja; waar, nee.

Wie heeft er baat bij een enige, obsessieve focus op RCT-bewijs? RCT's zijn erg duur om uit te voeren als ze epidemiologisch valide en statistisch adequaat moeten zijn. Ze kunnen miljoenen of tientallen miljoenen dollars kosten, wat hun aantrekkingskracht grotendeels beperkt tot bedrijven die medische producten promoten die waarschijnlijk een winst zullen opleveren die aanzienlijk groter is dan die kosten. Historisch gezien zorgden farmacontrole en manipulatie van RCT-bewijs in het reguleringsproces voor een enorme boost in het vermogen om producten via wettelijke goedkeuring op de markt te brengen, en de motivatie om dit te doen gaat nog steeds door.

Dit probleem werd erkend door het Congres, dat de Food and Drug Administration Modernization Act van 1997 (FDAMA) goedkeurde, die in 2000 de ClinicalTrials.gov website voor registratie van alle klinische onderzoeken die zijn uitgevoerd in het kader van onderzoeken naar nieuwe medicijntoepassingen om de effectiviteit van experimentele medicijnen voor patiënten met ernstige of levensbedreigende aandoeningen te onderzoeken (National Library of Medicine, 2021). Om gerelateerde redenen met betrekking tot belangenconflicten in klinische onderzoeken, de ProPublica-website "Dollars for Docs" (Tigas et al., 2019) over betalingen van farmaceutische bedrijven aan artsen in de jaren 2009-2018 en de OpenPayments-website (Centers for Medicare & Medicaid Services , 2022) met betrekking tot betalingen van 2013 tot en met 2021 werden vastgesteld en openbaar doorzoekbaar gemaakt. Deze informatiesystemen zijn gemaakt omdat de "plausibiliteit" dat randomisatie automatisch de studieresultaten nauwkeurig en onbevooroordeeld maakt, onvoldoende werd geacht om onderzoeksbedrog en ongepaste belangenverstrengelingsmotieven van de onderzoeker het hoofd te bieden.

Hoewel deze pogingen om de corruptie van medisch onderzoek te hervormen of te beperken hebben geholpen, blijft de verkeerde voorstelling van bewijsmateriaal onder het mom van EBM bestaan. Een van de slechtste voorbeelden was een paper gepubliceerd in de New England Journal of Medicine 13 februari 2020, aan het begin van de Covid-19-pandemie, getiteld "The Magic of Randomization versus the Myth of Real-World Evidence", door vier bekende Britse medische statistici die substantiële banden hebben met farmaceutische bedrijven (Collins et al. ., 2020). Het is waarschijnlijk geschreven in januari 2020, voordat de meeste mensen wisten dat de pandemie eraan kwam. Dit artikel beweert dat randomisatie automatisch sterke studies creëert en dat alle niet-gerandomiseerde studies onzin zijn. Op het moment dat ik het las, voelde ik dat het een dekvloer was tegen mijn hele vakgebied, epidemiologie. Ik was er meteen door beledigd, maar later begreep ik de ernstige belangenverstrengeling van de auteurs. Vertegenwoordigen dat alleen zeer onbetaalbaar RCT-bewijs geschikt is voor wettelijke goedkeuringen, biedt farmaceutische bedrijven een hulpmiddel om hun dure, zeer winstgevende patentproducten tegen concurrentie te beschermen door effectieve en goedkope off-label goedgekeurde generieke medicijnen waarvan de fabrikanten zich geen grootschalige RCT's.

randomisatie

Dus, wat is de fout van randomisatie waarop ik heb gezinspeeld, die een dieper onderzoek vereist om de relatieve validiteit van RCT-onderzoeken versus andere onderzoeksontwerpen te begrijpen? Het probleem ligt in het begrijpen van verstorende. Confounding is een epidemiologische omstandigheid waarbij een relatie tussen een blootstelling en een uitkomst niet te wijten is aan de blootstelling, maar aan een derde factor (de confounder), althans gedeeltelijk. De confounder is op de een of andere manier geassocieerd met de blootstelling, maar is niet het resultaat van de blootstelling.

In dergelijke gevallen is de schijnbare blootstelling-uitkomstrelatie in werkelijkheid te wijten aan de confounder-uitkomstrelatie. Een onderzoek naar alcoholconsumptie en het risico op kanker kan bijvoorbeeld mogelijk worden verward door een rookgeschiedenis die correleert met alcoholgebruik (en niet wordt veroorzaakt door alcoholgebruik), maar die in werkelijkheid het verhoogde risico op kanker veroorzaakt. Een eenvoudige analyse van het risico op alcohol en kanker, waarbij roken buiten beschouwing wordt gelaten, zou een verband aantonen. Zodra het effect van roken echter onder controle of aangepast zou zijn, zou de relatie tussen alcohol en het risico op kanker afnemen of verdwijnen.

Het doel van randomisatie, om alles tussen de behandelings- en controlegroepen in evenwicht te brengen, is om mogelijke verwarring weg te nemen. Is er een andere manier om mogelijke confounding weg te nemen? Ja: meet de betreffende factoren en corrigeer of regel hierop in statistische analyses. Het is dus duidelijk dat randomisatie precies één mogelijk voordeel heeft dat niet beschikbaar is voor niet-gerandomiseerde studies: de controle van ungemeten confounders. Als biologische, medische of epidemiologische relaties onvolledig worden begrepen over een uitkomst van interesse, dan kunnen niet alle relevante factoren worden gemeten, en sommige van die niet-gemeten factoren kunnen nog steeds een associatie van interesse verwarren.

Dus randomisatie, in theorie, verwijdert mogelijke verwarring door niet-gemeten factoren als verklaring voor een waargenomen associatie. Dat is het plausibiliteitsargument. De vraag is echter hoe goed randomisatie in werkelijkheid werkt, en wie er precies in balans moet worden gebracht door de randomisatie. Klinische onderzoeken passen randomisatie toe op alle deelnemende proefpersonen om de toewijzing van behandelgroepen te bepalen. Als in de studie-uitkomstgebeurtenis individuen een subset van de totale studie vormen, dan moeten die uitkomstmensen ook in evenwicht zijn in hun potentiële confounders. Als bijvoorbeeld alle sterfgevallen in de behandelingsgroep mannen zijn en alle sterfgevallen in de placebogroep vrouwen, dan vertroebelt het geslacht waarschijnlijk het effect van de behandeling. 

Het probleem is dat RCT-onderzoeken in wezen nooit expliciet adequate randomisatie van hun uitkomstonderwerpen aantonen, en wat ze beweren te laten zien van randomisatie voor hun totale behandelingsgroepen is bijna altijd wetenschappelijk irrelevant. Dit probleem doet zich waarschijnlijk voor omdat de personen die RCT-onderzoeken uitvoeren, en de recensenten en tijdschriftredacteuren die hun artikelen bestuderen, de epidemiologische principes onvoldoende begrijpen.

In de meeste RCT-publicaties geven de onderzoekers een oppervlakkige eerste beschrijvende tabel van de behandelings- en placebogroepen (als kolommen) versus verschillende gemeten factoren (als rijen). Dat wil zeggen, de procentuele verdeling van behandelings- en placebo-proefpersonen per geslacht, leeftijdsgroep, ras/etniciteit enz. De derde kolom in deze tabellen is gewoonlijk de p-waardestatistiek voor het frequentieverschil tussen de behandelings- en placebo-proefpersonen op elke gemeten factor. Losjes gezegd schat deze statistiek de waarschijnlijkheid in dat een dergelijk groot frequentieverschil tussen behandelings- en placebo-proefpersonen door toeval zou kunnen zijn ontstaan. Gezien het feit dat de proefpersonen hun behandelingsgroepen geheel toevallig toegewezen kregen, is statistisch onderzoek van het proces van randomisatiekans tautologisch en irrelevant. Dat in sommige RCT's sommige factoren extremer kunnen lijken dan het toeval bij randomisatie zou toestaan, is alleen omdat meerdere factoren in de rijen zijn onderzocht op verdelingsverschillen en in dergelijke omstandigheden moet een beroep worden gedaan op statistische controle van meerdere vergelijkingen.

Wat nodig is in de derde kolom van de RCT-beschrijvende tabel is geen p-waarde, maar een maat voor de mate van confounding van de specifieke rijfactor. Confounding wordt niet gemeten door hoe het is ontstaan, maar door hoe erg het is. In mijn ervaring als carrière-epidemioloog is de beste maatstaf voor confounding de procentuele verandering in de omvang van de relatie tussen behandeling en resultaat met versus zonder correctie voor de confounder. Dus als bijvoorbeeld met correctie voor geslacht de mortaliteit door behandeling met 25% wordt verlaagd (relatief risico = 0.75), maar zonder correctie met 50%, dan is de omvang van de verstoring per geslacht (0.75 – 0.50)/0.75 = 33 %. Epidemiologen beschouwen over het algemeen een verandering van meer dan 10% bij een dergelijke aanpassing om te impliceren dat confounding aanwezig is en moet worden beheerst.

Zoals ik heb opgemerkt, geven de meeste RCT-publicaties niet de omvang van verwarrende schattingen voor hun algehele behandelingsgroepen, en nooit voor hun uitkomstonderwerpen. Het is dus niet mogelijk om te zeggen dat de uitkomstonderwerpen voldoende zijn gerandomiseerd voor alle factoren die in de beschrijvende tabel van het artikel worden gegeven. Maar de potentiële fatale fout van RCT-onderzoeken, wat ze niet beter kan maken dan niet-gerandomiseerde onderzoeken en in sommige gevallen zelfs erger, is dat randomisatie alleen werkt wanneer grote aantallen proefpersonen zijn gerandomiseerd (Deaton en Cartwright, 2018), en dit geldt specifiek voor de uitkomstonderwerpen, niet alleen voor het totale onderzoek. 

Overweeg om tien keer een munt op te gooien. Het zou gemakkelijk bij toeval minstens zeven keer kop en drie keer munt kunnen opleveren, of vice versa (34%). De grootte van dit verschil, 7/3 = 2.33, is echter potentieel behoorlijk groot in termen van mogelijke confounding. Aan de andere kant zou het voorkomen van dezelfde magnitude van 2.33 bij 70 of meer heads uit 100 salto's zeldzaam zijn, p=.000078. Om randomisatie te laten werken, moet er een aanzienlijk aantal uitkomstgebeurtenissen zijn in zowel de behandelings- als de placebogroep, zeg 50 of meer in elke groep. Dit is de onuitgesproken potentiële grote tekortkoming van RCT-onderzoeken die hun plausibiliteitsargument nutteloos maakt, omdat RCT-onderzoeken over het algemeen zijn ontworpen om voldoende statistische kracht te hebben om statistische significantie van hun primaire resultaat te vinden als de behandeling werkt zoals voorspeld, maar niet ontworpen om voldoende resultaat te hebben. onderwerpen om potentiële confounding te verminderen tot minder dan 10% zeggen.

Een belangrijk voorbeeld van dit probleem is te zien in het eerste gepubliceerde RCT-resultaat over de werkzaamheid van het Pfizer BNT162b2 mRNA Covid-19-vaccin (Polack et al., 2020). Deze studie werd groot genoeg geacht (43,548 gerandomiseerde deelnemers) en belangrijk genoeg (Covid-19) om vanwege de veronderstelde RCT-plausibiliteit publicatie in de “prestigieuze” studie veilig te stellen. New England Journal of Medicine. Het primaire resultaat van de studie was het optreden van Covid-19 dat ten minste zeven dagen na de tweede dosis van het vaccin of de placebo-injectie begon. Hoewel het 162 gevallen onder de placeboproefpersonen observeerde, genoeg voor een goede randomisatie, vond het slechts acht gevallen onder de vaccinproefpersonen, bij lange na niet genoeg om door randomisatie ook maar iets te doen om confounding te beheersen. 

Uit algemene epidemiologische ervaring blijkt dat een geschat relatief risico van deze omvang (ongeveer 162/8 = 20) waarschijnlijk niet geheel te wijten is aan confounding, maar de nauwkeurigheid van het relatieve risico of de impliciete effectiviteit ervan ((20 – 1)/20 = 95 %) twijfelt. Dat werd waargenomen dat dit gebruikte vaccin niet zo effectief was in het verminderen van het infectierisico, is niet verwonderlijk gezien de zwakte van het onderzoeksresultaat vanwege onvoldoende steekproefomvang om te verzekeren dat randomisatie werkte voor de uitkomstsubjecten in zowel de behandelings- als de placebogroep.

Deze "duik in het onkruid" van de epidemiologie illustreert waarom een ​​RCT-onderzoek met minder dan, laten we zeggen, 50 uitkomstonderwerpen in elke behandelingstak van het onderzoek weinig tot geen aanspraak kan maken op het vermijden van mogelijke verwarring door niet-gemeten factoren. Maar het maakt ook duidelijk waarom zo'n beproeving kan zijn erger dan een niet-gerandomiseerde gecontroleerde studie met dezelfde blootstelling en uitkomst. In niet-gerandomiseerde onderzoeken weten de onderzoekers dat veel factoren, als mogelijke confounders, het optreden van de uitkomst kunnen beïnvloeden, dus meten ze alles wat ze relevant achten, om vervolgens voor die factoren in de statistische analyses aan te passen en te controleren. 

In RCT's denken onderzoekers echter routinematig dat de randomisatie succesvol is geweest en voeren ze dus onaangepaste statistische analyses uit, wat mogelijk verwarrende resultaten oplevert. Als je RCT's ziet die worden geparadeerd als 'grote' onderzoeken vanwege hun tienduizenden deelnemers, kijk dan verder, naar het aantal primaire uitkomstgebeurtenissen in de behandelingsarmen van de studie. Proeven met kleine aantallen primaire uitkomstmaten zijn nutteloos en mogen niet worden gepubliceerd, laat staan ​​dat er op kan worden vertrouwd voor volksgezondheid of beleidsoverwegingen.

Empirisch bewijs

Na het lezen van al het voorgaande, zou je kunnen denken dat deze argumenten met betrekking tot gerandomiseerde versus niet-gerandomiseerde onderzoeken zeer plausibel zijn, maar hoe zit het met empirisch bewijs om ze te ondersteunen? Daarvoor is een zeer grondige analyse uitgevoerd door de Cochrane Library Database of Systematic Reviews (Anglemyer et al., 2014). Deze studie doorzocht uitgebreid zeven elektronische publicatiedatabases voor de periode van januari 1990 tot en met december 2013, om alle systematische overzichtsdocumenten te identificeren die "kwantitatieve schattingen van de effectgrootte die de werkzaamheid of effectiviteit meten van interventies die zijn getest in [gerandomiseerde] onderzoeken, vergeleken met die welke zijn getest in observationele studies. ” In feite een meta-analyse van meta-analyses, omvatte de analyse vele duizenden individuele studievergelijkingen zoals samengevat in 14 review papers. 

Waar het op neerkomt: een gemiddelde van slechts 8% verschil (95% betrouwbaarheidsgrenzen, -4% tot 22%, niet statistisch significant) tussen de RCT's en hun overeenkomstige niet-gerandomiseerde onderzoeksresultaten. Samengevat, deze hoeveelheid kennis - zowel empirische als die gebaseerd op epidemiologische principes - toont aan dat, in tegenstelling tot de zogenaamde "plausibiliteit", gerandomiseerde onderzoeken niet automatisch worden gerangschikt als een gouden standaard voor medisch bewijs of als de enige aanvaardbare vorm van bewijs. medisch bewijs, en dat elke studie kritisch en objectief moet worden onderzocht op zijn eigen sterke en zwakke punten, en in hoeverre die sterke en zwakke punten van belang zijn voor de getrokken conclusies.

Andere aannemelijkheden

Tijdens de Covid-19-pandemie zijn tal van andere beweringen van wetenschappelijk bewijs gebruikt om het volksgezondheidsbeleid te rechtvaardigen, ook voor het uitroepen van de pandemische noodsituatie zelf. Aan veel hiervan ligt het plausibele maar bedrieglijke principe ten grondslag dat het doel van het beheer van een pandemie op het gebied van de volksgezondheid is om het aantal mensen dat door het SARS-CoV-2-virus is geïnfecteerd, tot een minimum te beperken. 

Dat beleid lijkt misschien voor de hand liggend, maar het is verkeerd als algemeen beleid. Wat geminimaliseerd moet worden, zijn de schadelijke gevolgen van de pandemie. Als infectie voor de meeste mensen tot onaangename of irritante symptomen leidt, maar geen ernstige of langdurige problemen – zoals over het algemeen het geval is met SARS-CoV-2, vooral in het Omicron-tijdperk – dan zou er geen tastbaar voordeel zijn voor de algemene volksgezondheid interventies en beperkingen die inbreuk maken op de natuurlijke of economische rechten van dergelijke personen en die zichzelf schade berokkenen. 

Westerse samenlevingen, waaronder de VS, nemen de jaarlijkse golven van luchtweginfecties met grote stappen door zonder pandemische noodsituaties af te kondigen, ook al produceren ze elk jaar miljoenen geïnfecteerde personen, omdat de gevolgen van infectie over het algemeen als medisch gering worden beschouwd, zelfs als rekening wordt gehouden met enkele tienduizenden doden jaarlijks. 

In de eerste paar maanden van de Covid-19-pandemie werd vastgesteld dat het risico op overlijden door infectie meer dan 1,000 maal varieerde over de leeftijdsspanne, en dat mensen zonder chronische gezondheidsproblemen zoals diabetes, zwaarlijvigheid, hartaandoeningen, nieraandoeningen, kankergeschiedenis enz., hadden een verwaarloosbaar risico op overlijden en een zeer laag risico op ziekenhuisopname. Op dat moment was het eenvoudig om categorieën te definiëren van personen met een hoog risico die gemiddeld baat zouden hebben bij interventies op het gebied van de volksgezondheid, versus personen met een laag risico die de infectie met succes zouden doorstaan ​​zonder noemenswaardige of langdurige problemen. Een obsessief, uniform pandemisch beheersplan dat geen onderscheid maakte in risicocategorieën was dus vanaf het begin onredelijk en benauwend.

Dienovereenkomstig hebben maatregelen die door plausibiliteit worden gepromoot om de overdracht van infecties te verminderen, zelfs als ze voor dat doel effectief waren geweest, geen goed pandemisch beheer gediend. Deze maatregelen werden echter in de eerste plaats nooit gerechtvaardigd door wetenschappelijk bewijs. De Six-Foot Social Distancing Rule was een willekeurig verzinsel van de CDC (Dangor, 2021). Claims van voordeel voor het dragen van gezichtsmaskers hebben zelden een onderscheid gemaakt tussen potentieel voordeel voor de drager - voor wie dergelijk dragen een persoonlijke keuze zou zijn om al dan niet meer theoretische risico's te accepteren - versus voordeel voor omstanders, de zogenaamde "broncontrole", waarbij openbare gezondheidsoverwegingen kunnen terecht van toepassing zijn. Studies naar op maskers gebaseerde broncontrole voor respiratoire virussen, waarbij de studies geen fatale gebreken vertonen, hebben geen merkbaar voordeel aangetoond bij het verminderen van de overdracht van infecties (Alexander, 2021; Alexander, 2022; Burns, 2022).

Algemene bevolkingsafsluitingen zijn nooit gebruikt in westerse landen en hebben geen bewijs van effect om iets anders te doen dan het onvermijdelijke uit te stellen (Meunier, 2020), zoals de bevolkingsgegevens van Australië duidelijk maken (Worldometer, 2022). In de definitieve bespreking van volksgezondheidsmaatregelen ter bestrijding van pandemische griep (Inglesby et al., 2006), verklaren de auteurs: “Er zijn geen historische waarnemingen of wetenschappelijke studies die de opsluiting door quarantaine van groepen mogelijk besmette mensen gedurende langere perioden ondersteunen om de verspreiding van griep te vertragen. Een schrijfgroep van de Wereldgezondheidsorganisatie (WHO) concludeerde na bestudering van de literatuur en rekening houdend met de hedendaagse internationale ervaring dat 'gedwongen isolatie en quarantaine ineffectief en onpraktisch zijn'. … De negatieve gevolgen van grootschalige quarantaine zijn zo extreem (gedwongen opsluiting van zieke mensen met de put; volledige beperking van bewegingsvrijheid van grote populaties; moeilijkheid om kritieke voorraden, medicijnen en voedsel naar mensen in de quarantainezone te krijgen) dat deze beperking maatregel moet buiten beschouwing worden gelaten.”

Over reisbeperkingen, Inglesby et al. (2006) merkt op: “Reisbeperkingen, zoals het sluiten van luchthavens en het screenen van reizigers aan de grenzen, zijn van oudsher niet effectief geweest. De schrijfgroep van de Wereldgezondheidsorganisatie concludeerde dat 'het screenen en in quarantaine plaatsen van binnenkomende reizigers aan internationale grenzen de introductie van het virus bij eerdere pandemieën niet substantieel heeft vertraagd … en waarschijnlijk zelfs nog minder effectief zal zijn in de moderne tijd.'” Over schoolsluitingen (Inglesby et al., 2006): “Bij eerdere griepepidemieën was de impact van schoolsluitingen op het ziektecijfer gemengd. Een studie uit Israël meldde een afname van luchtweginfecties na een lerarenstaking van twee weken, maar de afname was slechts één dag zichtbaar. Aan de andere kant, toen de scholen sloten voor een wintervakantie tijdens de pandemie van 2 in Chicago, 'ontwikkelden zich meer griepgevallen onder leerlingen... dan wanneer de scholen open waren.'”

Deze discussie maakt duidelijk dat deze acties die zogenaamd de overdracht van virussen zouden verstoren op basis van plausibiliteitsargumenten voor hun effectiviteit, zowel misleidend waren voor het beheersen van de pandemie als niet onderbouwd door wetenschappelijk bewijs van effectiviteit bij het verminderen van verspreiding. Hun grootschalige promotie heeft het falen van het volksgezondheidsbeleid in het Covid-19-tijdperk aangetoond.

Plausibiliteit versus slechte wetenschap

Er zou een argument kunnen worden aangevoerd dat verschillende beleidslijnen op het gebied van volksgezondheid en informatie die beschikbaar is gesteld aan het grote publiek niet zijn ondersteund door plausibiliteit, maar in plaats daarvan door slechte of fataal gebrekkige wetenschap, die zich voordoet als echte wetenschap. In zijn interne, niet-collegiaal getoetste tijdschrift bijvoorbeeld, Wekelijkse rapporten over morbiditeit en mortaliteit, heeft CDC een aantal analyses van de effectiviteit van vaccins gepubliceerd. Deze rapporten beschreven cross-sectionele studies, maar analyseerden ze alsof het case-control studies waren, waarbij systematisch geschatte odds ratio-parameters werden gebruikt in plaats van relatieve risico's om de effectiviteit van het vaccin te berekenen. Wanneer studieresultaten zeldzaam zijn, bijvoorbeeld minder dan 10% van de proefpersonen, dan kunnen odds ratio's de relatieve risico's benaderen, maar anders zijn odds ratio's vaak overschat. In cross-sectionele studies kunnen relatieve risico's echter direct worden berekend en gecorrigeerd voor mogelijke confounders door relatieve-risicoregressie (Wacholder, 1986), vergelijkbaar met het gebruik van logistische regressie in case-control studies.

Een representatief voorbeeld is een studie naar de effectiviteit van derde dosis Covid-19-vaccins (Tenforde et al., 2022). In deze studie, "... nam het IVY-netwerk 4,094 volwassenen van ≥18 jaar op", en na relevante uitsluitingen van proefpersonen, "werden 2,952 gehospitaliseerde patiënten opgenomen (1,385 casuspatiënten en 1,567 niet-COVID-19-controles)." Cross-sectionele studies identificeren - per opzet - het totale aantal proefpersonen, terwijl het aantal gevallen en controles, en blootgestelde en niet-blootgestelde, plaatsvindt buiten de tussenkomst van de onderzoeker, dwz door welke natuurlijke processen dan ook ten grondslag liggen aan de medische, biologische en epidemiologische mechanismen die worden onderzocht. Door een totaal aantal proefpersonen te selecteren, hebben de Tenforde et al. studie is per definitie een cross-sectioneel design. Deze studie rapporteerde een vaccineffectiviteit van 82% bij patiënten zonder immunocompromitterende aandoeningen. Deze schatting weerspiegelt een aangepaste odds ratio van 1 – 0.82 = 0.18. De fractie van patiënten onder de gevaccineerden was echter 31% en onder de niet-gevaccineerden 70%, wat geen van beide voldoende zeldzaam is om de odds ratio-benadering te gebruiken om de effectiviteit van het vaccin te berekenen. Aan de hand van de cijfers in het onderzoeksrapport, Tabel 3, bereken ik een niet-gecorrigeerd relatief risico van 0.45 en een ongeveer aangepast relatief risico van 0.43, wat de werkelijke vaccineffectiviteit geeft van 1 – 0.43 = 57%, wat aanzienlijk verschilt en veel slechter is dan de 82% gepresenteerd in de krant.

In een andere context, nadat ik een samenvattend overzichtsartikel had gepubliceerd over het gebruik van hydroxychloroquine (HCQ) voor vroege ambulante Covid-19-behandeling (Risch, 2020), werden een aantal klinische onderzoeksdocumenten gepubliceerd in een poging aan te tonen dat HCQ niet effectief is . De eerste van deze zogenaamde "weerleggingen" werden uitgevoerd bij gehospitaliseerde patiënten, van wie de ziekte qua pathofysiologie en behandeling bijna geheel anders is dan vroege poliklinische ziekte (Park et al., 2020). De belangrijke uitkomsten die ik in mijn review had besproken, risico's op ziekenhuisopname en sterfte, werden in deze werken afgeleid door de focus op subjectieve en mindere uitkomsten, zoals de duur van de virale testpositiviteit of de duur van het ziekenhuisverblijf.

Vervolgens werden RCT's van ambulant HCQ-gebruik gepubliceerd. Een typische is die van Caleb Skipper et al. (2020). Het primaire eindpunt van deze studie was een verandering in de algehele zelfgerapporteerde ernst van de symptomen gedurende 14 dagen. Dit subjectieve eindpunt was van weinig pandemisch belang, vooral gezien het feit dat de proefpersonen in studies van deze onderzoeksgroep redelijk goed konden zien of ze in de HCQ- of placebo-arm van de studie zaten (Rajasingham et al., 2021) en dus de zelf- gerapporteerde resultaten waren niet zo blind voor de medicatie-armen. Uit hun statistische analyses concludeerden de auteurs terecht dat "Hydroxychloroquine de ernst van de symptomen niet substantieel verminderde bij poliklinische patiënten met vroege, milde COVID-19." De algemene media meldden echter dat dit onderzoek aantoonde dat "hydroxychloroquine niet werkt". Bijvoorbeeld Jen Christensen (2020) in CNN Gezondheid verklaarde over deze studie: “Het antimalariamiddel hydroxychloroquine kwam niet ten goede aan niet-gehospitaliseerde patiënten met milde Covid-19-symptomen die vroeg in hun infectie werden behandeld, volgens een studie die donderdag in het medische tijdschrift is gepubliceerd Annals of Internal Medicine. ' 

Maar in feite rapporteerde de Skipper-studie over de twee belangrijke uitkomsten, risico's op ziekenhuisopname en mortaliteit: met placebo, 10 ziekenhuisopnames en 1 overlijden; met HCQ, 4 ziekenhuisopnames en 1 overlijden. Deze cijfers laten een 60% lager risico op ziekenhuisopname zien dat, hoewel niet statistisch significant (p=0.11), volledig consistent is met alle andere onderzoeken naar het risico op ziekenhuisopname voor HCQ-gebruik bij poliklinische patiënten (Risch, 2021). Desalniettemin zijn deze kleine aantallen uitkomstgebeurtenissen lang niet genoeg voor randomisatie om alle factoren in evenwicht te brengen, en de studie is op deze basis in wezen nutteloos. Maar het werd in de lekenliteratuur nog steeds verkeerd geïnterpreteerd als aantonend dat HCQ geen voordeel biedt bij ambulant gebruik.

Conclusies

Tijdens de Covid-19-pandemie hebben zich veel andere gevallen van plausibele wetenschappelijke onzin of slechte wetenschap voorgedaan. Zoals te zien was bij de ingetrokken Surgisphere-artikelen, publiceren medische tijdschriften routinematig en kritiekloos deze onzin, zolang de conclusies in overeenstemming zijn met het overheidsbeleid. Deze hoeveelheid valse kennis is op het hoogste niveau verspreid door de NSC, FDA, CDC, NIH, WHO, Wellcome Trust, AMA, raden voor medische specialiteiten, nationale en lokale volksgezondheidsinstanties, multinationale farmaceutische bedrijven en andere organisaties over de hele wereld. die hun verantwoordelijkheden jegens het publiek hebben geschonden of er met opzet voor hebben gekozen de nepwetenschap niet te begrijpen. 

De Amerikaanse Senaat heeft onlangs voor de derde keer gestemd om de noodtoestand van Covid-19 te beëindigen, maar president Biden verklaarde dat hij een veto zou uitspreken over de maatregel vanwege “angst” voor herhaling zaaknummers. Mijn collega's en ik voerden bijna een jaar geleden aan dat de pandemische noodsituatie voorbij was (Risch et al., 2022), maar het valse vertrouwen op het aantal gevallen om de onderdrukking van mensenrechten onder de dekmantel van "noodsituatie" te rechtvaardigen, gaat onverminderd door.

Massale censuur door de traditionele media en een groot deel van de sociale media heeft de meeste openbare discussies over deze slechte en nepwetenschap geblokkeerd. Censuur is het instrument van het onverdedigbare, aangezien geldige wetenschap zichzelf inherent verdedigt. Totdat het publiek het verschil begint te begrijpen tussen plausibiliteit en wetenschap en hoe groot de inspanning is geweest om een ​​wetenschappelijk "product" te produceren dat op wetenschap lijkt maar het niet is, zal het proces doorgaan en zullen leiders die op zoek zijn naar autoritaire macht erop blijven vertrouwen voor valse rechtvaardiging.

Referenties

Alexander, PE (2021, 20 december). Meer dan 150 vergelijkende onderzoeken en artikelen over ineffectiviteit en schade van maskers. Brownstone Instituut. https://brownstone.org/articles/more-than-150-comparative-studies-and-articles-on-mask-ineffectiveness-and-harms/

Alexander, PE (2022, 3 juni). CDC weigert de fix op zijn maskerstudie te plaatsen. Brownstone Instituut. https://brownstone.org/articles/cdc-refuses-to-post-the-fix-to-its-mask-study/

Anglemyer, A., Horvath, HT, Bero, L. (2014). Zorguitkomsten beoordeeld met observationele onderzoeksontwerpen vergeleken met die beoordeeld in gerandomiseerde onderzoeken (Review). Cochrane-database met systematische overzichten, 4, artikel MR000034. https://doi.org/10.1002/14651858.MR000034.pub2

Bae, J.-M. (2016). Een suggestie voor kwaliteitsbeoordeling in systematische reviews van observationele studies in voedingsepidemiologie. Epidemiologie en gezondheid, 38, artikel e2016014. https://doi.org/10.4178/epih.e2016014

Berger, MA (2011). De toelaatbaarheid van deskundigenverklaringen. In National Research Council, Committee on the Development of the Third Edition of the Reference Manual on Scientific Evidence, Referentiehandleiding voor wetenschappelijk bewijs, Derde editie (pp. 11-36). Nationale Academies Press. https://nap.nationalacademies.org/catalog/13163/reference-manual-on-scientific-evidence-third-edition

Burns, E. (2022, 10 november). Een andere dag, nog een vreselijke maskerstudie. Laten we eens kijken onder de motorkap van het nieuwste stukje wetenschap van lage kwaliteit over maskers. Substapel. https://emilyburns.substack.com/p/another-day-another-terrible-mask

Centra voor Medicare & Medicaid Services. (2022, juni). Zoek Openstaande betalingen. Amerikaanse ministerie van Volksgezondheid en Human Services, Centra voor Medicare & Medicaid Services. https://openpaymentsdata.cms.gov/

Christensen, J. (2020, 16 juli). Hydroxychloroquine helpt ook geen Covid-19-patiënten die niet in het ziekenhuis zijn opgenomen, vindt nieuwe studie. CNN Gezondheid. https://www.cnn.com/2020/07/16/health/hydroxychloroquine-doesnt-work-hospitalized-patients/

Collins, R., Bowman, L., Landray, M., & Peto, R. (2020). De magie van randomisatie versus de mythe van real-world bewijs. New England Journal of Medicine, 382 (7), 674-678. https://www.nejm.org/doi/10.1056/NEJMsb1901642

Dangor, G. (2021, 19 september). CDC's anderhalve meter sociale afstandsregel was 'willekeurig', zegt voormalig FDA-commissaris​ Forbes. https://www.forbes.com/sites/graisondangor/2021/09/19/cdcs-six-foot-social-distancing-rule-was-arbitrary-says-former-fda-commissioner/

Deaton, A., en Cartwright, N. (2018). Gerandomiseerde gecontroleerde onderzoeken begrijpen en verkeerd begrijpen. Sociale wetenschappen en geneeskunde, 210, 2-21. https://doi.org/10.1016/j.socscimed.2017.12.005

Feynman, RP (1974). Cargo Cult-wetenschap. Engineering en wetenschap, 37 (7), 10-13. https://resolver.caltech.edu/CaltechES:37.7.CargoCult

Goldberger, J., Waring, CH, & Willets, DG (1915). De preventie van pellagra: een dieettest onder institutionele gevangenen. Volksgezondheidsrapporten, 30 (43), 3117-3131. https://www.jstor.org/stable/4572932

Hartling, L., Milne, A., Hamm, MP, Vandermeer, B., Ansari, M., Tsertsvadze, A., Dryden, DM (2013). Het testen van de Newcastle Ottawa-schaal toonde een lage betrouwbaarheid tussen individuele beoordelaars. Journal of Clinical Epidemiology, 66, 982-993. https://doi.org/10.1016/j.jclinepi.2013.03.003

Heuvel, AB (1965). Het milieu en ziekte: associatie of oorzakelijk verband. Procedures van de Royal Society of Medicine, 58 (5), 295-300. https://doi.org/10.1177/003591576505800503

Inglesby, TV, Nuzzo, JB, O'Toole, T., Henderson, DA (2006). Ziektebeperkende maatregelen bij de bestrijding van pandemische griep. Bioveiligheid en bioterrorisme: Biodefense-strategie, praktijk en wetenschap, 4 (4): 366-375. https://doi.org/10.1089/bsp.2006.4.366

Meunier, T. (2020, 1 mei). Volledig lockdown-beleid in West-Europese landen heeft geen duidelijke gevolgen voor de COVID-19-epidemie. medRxiv. https://doi.org/10.1101/2020.04.24.20078717

MSNBC. (2021, 9 juni). Fauci reageert op aanvallen van Republikeinen [Video]. YouTube. https://www.youtube.com/watch?v=z-tfZr8Iv0s

National Library of Medicine (2021, mei). ClinicalTrials.gov. Geschiedenis, beleid en wetten. Amerikaanse ministerie van Volksgezondheid en Human Services, National Institutes of Health, National Library of Medicine. https://clinicaltrials.gov/ct2/about-site/history

Park, JJH, Decloedt, EH, Rayner, CR, Cotton, M., Mills, EJ (2020). Klinische onderzoeken naar ziektestadia bij COVID 19: gecompliceerd en vaak verkeerd geïnterpreteerd. Lancet Wereldwijde Gezondheid, 8(10), e1249-e1250. https://doi.org/10.1016/S2214-109X(20)30365-X

Polack, FP, Thomas, SJ, Kitchin, N., Absalon, J., Gurtman, A., Lockhart, S., Perez, JL, Pérez Marc, G., Moreira, ED, Zerbini, C., Bailey, R ., Swanson, KA, Roychoudhury, S., Koury, K., Li, P., Kalina, WV, Cooper, D., Frenck, RW, Jr., Hammitt, LL, …, Gruber, WC (2020). Veiligheid en werkzaamheid van het BNT162b2 mRNA Covid-19-vaccin. New England Journal of Medicine, 383 (27), 2603-2615. https://www.nejm.org/doi/full/10.1056/nejmoa2034577

Rajasingham, R., Bangdiwala, AS, Nicol, MR, Skipper, CP, Pastick, KA, Axelrod, ML, Pullen, MF, Nascene, AA, Williams, DA, Engen, NW, Okafor, EC, Rini, BI, Mayer , IA, McDonald, EG, Lee, TC, Li P., MacKenzie, LJ, Balko, JM, Dunlop, SJ, …, Lofgren, SM (2021). Hydroxychloroquine als profylaxe vóór blootstelling aan coronavirusziekte 2019 (COVID-19) bij gezondheidswerkers: een gerandomiseerde studie. Clinical Infectious Diseases, 72(11), e835-e843. https://doi.org/10.1093/cid/ciaa1571

Risch, HA (2020). Vroegtijdige poliklinische behandeling van symptomatische COVID-19-patiënten met een hoog risico die onmiddellijk moeten worden opgevoerd als sleutel tot de pandemische crisis. American Journal of Epidemiology, 189 (11), 1218-1226. https://doi.org/10.1093/aje/kwaa093

Risch, HA (2021, 17 juni). Hydroxychloroquine bij vroege behandeling van poliklinische COVID-19-patiënten met een hoog risico: bewijs van werkzaamheid en veiligheid. EarlyCovidCare.org, https://earlycovidcare.org/wp-content/uploads/2021/09/Evidence-Brief-Risch-v6.pdf

Risch, H., Bhattacharya, J., Alexander, PE (2022, 23 januari). De noodsituatie moet nu worden beëindigd. Brownstone Instituut. https://brownstone.org/articles/the-emergency-must-be-ended-now/

Sackett, DL, Rosenberg, WMC, Gray, JAM, Haynes, RB, & Richardson, WS (1996). Evidence-based medicine: wat het is en wat het niet is. BMJ, 312, artikel 71. https://doi.org/10.1136/bmj.312.7023.71

Skipper, CP, Pastick, KA, Engen, NW, Bangdiwala, AS, Abassi, M., Lofgren, SM, Williams, DA, Okafor, EC, Pullen, MF, Nicol, MR, Nascene, AA, Hullsiek, KH, Cheng , MP, Luke, D., Lother, SA, MacKenzie, LJ, Drobot, G., Kelly, LE, Schwartz, IS, …, Boulware, DR (2020). Hydroxychloroquine bij niet-gehospitaliseerde volwassenen met vroege COVID-19: een gerandomiseerde studie. Annals of Internal Medicine, 173 (8), 623-631. https://doi.org/10.7326/M20-4207

Tenforde, MW, Patel, MM, Gaglani, M., Ginde, AA, Douin, DJ, Talbot, HK, Casey, JD, Mohr, NM, Zepeski, A., McNeal, T., Ghamande, S., Gibbs, KW, Files, DC, Hager, DN, Shehu, A., Prekker, ME, Erickson, HL, Gong, MN, Mohamed, A., …, Self, WH (2022). Wekelijks rapport over morbiditeit en mortaliteit, 71(4), 118-124. https://www.cdc.gov/mmwr/volumes/71/wr/mm7104a2.htm

Tigas, M., Jones, RG, Ornstein, C., & Groeger, L. (2019, 17 oktober). Dollars voor documenten. Hoe industriedollars uw artsen bereikten. ProPublica. https://projects.propublica.org/docdollars/

Wacholder, S. (1986). Binominale regressie in GLIM: risicoverhoudingen en risicoverschillen schatten. American Journal of Epidemiology, 123 (1), 174-184. https://doi.org/10.1093/oxfordjournals.aje.a114212

Whelan, R. (2020, 3 augustus). 2020-08-03 - CNN COVID met interview Harvey Risch, epidemioloog van Yale [Video]. YouTube. https://www.youtube.com/watch?v=gGO6Ke81bUQ

Wereldmeter. (2022, 15 november). Totaal aantal gevallen van coronavirus in Australië. Wereldmeter. https://www.worldometers.info/coronavirus/country/australia/