Cochrane op feiten gecontroleerd met absurde resultaten

Op 17 februari factchecker Iria Carballo-Carbajal, een neurowetenschapper van opleiding, maar blijkbaar zonder enige opleiding in epidemiologie, publiceerde een "fact-check" dit artikel op de website Gezondheidsfeedback. In haar kop doet Carballo-Carbajal de volgende uitspraak: “Meerdere onderzoeken tonen aan dat gezichtsmaskers de verspreiding van COVID-19 verminderen; een Cochrane-review bewijst het tegendeel niet.”

Dit artikel wordt nu door socialemediabedrijven gebruikt om alle verwijzingen naar het Cochrane-onderzoek te onderdrukken. Ik werd me hiervan bewust op 10 maart toen ik een melding ontving dat een bericht van een lid van een door mij beheerde Facebook-groep 'valse informatie' bevatte.

De post verwees naar een mening stuk over de Cochrane-review in de New York Times, gepubliceerd op 10 februari. De bron van de "onafhankelijke factchecker" waarnaar werd verwezen, was het bovengenoemde artikel van Carballo-Carbajal. Een factcheck-stempel krijgen kan een serieus probleem zijn voor een krant, niet minder voor een wetenschappelijke instelling. Daarom kwam het niet als een verrassing dat al op 10 maart Cochrane-redacteur Karla Soares-Weiser een verklaring publiceerde waarin ze probeerde de onderzoeksresultaten te bagatelliseren, waarbij ze ten onrechte beweerde dat de studie alleen gericht was op het beoordelen van de effectiviteit van interventies om promoten masker dragen, terwijl het duidelijk vermeld staat doel van de persoon van de studie is om de effectiviteit van de fysieke interventies zelf te beoordelen, niet alleen de effectiviteit van hun promotie.

Dezelfde dag de New York Times publiceerde een stuk bewerend in de kop dat maskers zeker werken, maar voor het grootste deel gewijd aan het uitsmeren van Cochrane-onderzoeksauteur Dr. Tom Jefferson. Het artikel beweert bijvoorbeeld dat Jefferson in een interview  dat er geen bewijs is dat het SARS-CoV-2-virus zich in de lucht verspreidt, terwijl hij eigenlijk zegt dat er veel transmissieroutes zijn en er meer bewijs nodig is om vast te stellen hoe transmissie precies plaatsvindt.

Deze reeks gebeurtenissen is een schokkend duidelijk voorbeeld van hoe de censuurindustrie werkt. Het is des te schokkender als je bedenkt hoe serieus het 'fact-check'-artikel van Carballo-Carbajal feitelijk, logisch en ethisch gebrekkig is.

1. De stroman

Carballo-Carbajal begint met het maken van een stropop, in dit geval een claim toegeschreven aan Dr. Robert Malone, verwijzend naar een recente post op zijn blog. Onder het kopje “Bewering” staat de vermeende bewering als volgt: “Gezichtsmaskers zijn niet effectief in het verminderen van de verspreiding van COVID-19 en andere luchtwegaandoeningen, zo toont een Cochrane-review aan.” Deze claim, geciteerd naast een foto van Dr. Malone, is nergens te vinden in zijn blogpost.

Alsof dit nog niet genoeg is, gaat Carballo-Carbajal verder en presenteert wat zij een "volledige claim" noemt: "Review" kon zelfs geen 'bescheiden effect' op infectie- of ziektecijfer vinden:""de CDC overdreef het bewijs ter ondersteuning van maskermandaten .”

Het probleem hiermee is dat hoewel Dr. Malone correct wordt geciteerd in het eerste deel van de alinea, het tweede deel iets is dat hij simpelweg niet zegt in zijn blogpost.

2. De ad hominem

Carballo-Carbajal neemt vervolgens het op zich om Dr. Malone aan te vallen, bewerend dat hij “verkeerde informatie over Covid-19-vaccins” heeft verspreid, verwijzend naar een ander artikel, ook gepubliceerd door Health Feedback. Waaruit bestaat de vermeende verkeerde informatie volgens dat artikel? De dit artikel is een "factcheck" van a Washington Times opiniestuk van Dr. Malone en Dr. Peter Navarro gepubliceerd in 2021, waarin ze pleiten tegen het universele vaccinatiebeleid van de Amerikaanse regering, met het argument dat het gebaseerd is op vier gebrekkige aannames. Ten eerste dat universele vaccinatie het virus kan uitroeien, ten tweede dat de vaccins zeer effectief zijn, ten derde dat ze veilig zijn en ten vierde dat door vaccins gemedieerde immuniteit duurzaam is.

Carballo-Carbajal had nauwelijks minder geluk kunnen hebben met haar referentie. Het is nu overduidelijk dat universele vaccinatie het virus niet kan uitroeien, dat vaccin-gemedieerde immuniteit zeer snel afneemt, zelfs tot het punt dat het negatief wordt, als infectie studies en herinfectie studies al hebben laten zien. Het feit dat de vaccins niet "(bijna) perfect effectief zijn", citerend uit het artikel van Malone en Navarro, is allang duidelijk; het is in feite de reden waarom ze het virus niet kunnen uitroeien.

Wat betreft het derde punt, dit is wat Malone en Navarro zeggen in hun dit artikel: “De derde aanname is dat de vaccins veilig zijn. Toch erkennen wetenschappers, artsen en volksgezondheidsfunctionarissen nu risico's die zeldzaam maar zeker niet triviaal zijn. Bekende bijwerkingen zijn onder meer ernstige cardiale en trombotische aandoeningen, verstoringen van de menstruatiecyclus, de verlamming van Bell, het syndroom van Guillain-Barre en anafylaxie. Met andere woorden, ze zijn niet veilig, ze hebben er veel bekend zeldzame bijwerkingen, en dit wordt het eigenlijk duidelijkere als de tijd voorbij gaat.

Kortom, Carballo-Carbajal probeert Dr. Malone te diskwalificeren door hem te beschuldigen van "verkeerde informatie" over iets anders dan het onderwerp van haar artikel. Dit is de klassieke ad-hominem-tactiek die bijna universeel is in 'fact-check'-stukken. Haar mislukking is spectaculair, aangezien alle vermeende stukjes "verkeerde informatie" nu al geverifieerde feiten zijn.

3. De argumentatie

De belangrijkste samenvatting van Carballo-Carbajal (inclusief "Details" en "Key take away") is de volgende:

Beweringen dat gezichtsmaskers niet effectief zijn in het verminderen van de verspreiding van COVID-19 op basis van een Cochrane-review, hielden geen rekening met de beperkingen van de review. Hoewel veel gebruikers dit overzicht presenteerden als bewijs van de hoogste kwaliteit, varieerden de individuele onderzoeken die het evalueerde sterk in termen van kwaliteit, onderzoeksopzet, bestudeerde populaties en waargenomen resultaten, waardoor de auteurs geen definitieve conclusies konden trekken. 

Gerandomiseerde gecontroleerde onderzoeken worden beschouwd als de gouden standaard bij het beoordelen van de effectiviteit van een interventie. Dit type onderzoek kan echter sterk variëren in kwaliteit, met name bij complexe ingrepen zoals mondkapjes, wat de betrouwbaarheid van de resultaten aantast. In deze context zijn veel wetenschappers van mening dat gerandomiseerde gecontroleerde onderzoeken moeten worden gezien als een onderdeel van breder bewijs, inclusief andere onderzoeksopzetten. Wanneer rekening wordt gehouden met die onderzoeken, suggereert het bewijs dat wijdverbreid gebruik van maskers de overdracht van SARS-CoV-2 door de gemeenschap kan verminderen, vooral in combinatie met andere interventies zoals regelmatig handen wassen en fysieke afstand nemen.

Ik zal deze bewering nu in delen opsplitsen en vervolgens de geldigheid van elk deel verifiëren. We moeten in gedachten houden dat de geciteerde bron de blogpost van Dr. Malone is, dus elke verwijzing naar "claims" moet verwijzen naar de blogpost van Malone, de enige geciteerde bron. Verwijzingen naar niet-geïdentificeerde bronnen, zoals "veel websites en berichten op sociale media" moeten worden genegeerd om de voor de hand liggende reden dat er geen verwijzingen worden gegeven:

1. Verklaring: Dr. Malone beweert dat uit de Cochrane-review blijkt dat maskers niet effectief zijn in het verminderen van de verspreiding van Covid-19.

Discussie: Zoals hierboven aangetoond, maakt Dr. Malone deze bewering niet. In plaats daarvan claimt hij de studie "kan zelfs geen 'bescheiden effect' op infectie- of ziektecijfer vinden." Er is een cruciaal onderscheid tussen beweren dat A niet werkt en beweren dat A niet bewezen heeft te werken. De twee hebben niet dezelfde betekenis.

Vonnis: de verklaring van Carballo-Carbajal is onjuist.

2. Verklaring: Dr. Malone houdt bij het maken van deze bewering geen rekening met de beperkingen van de beoordeling.

Discussie: Om te beginnen maakt dr. Malone nooit de bewering waarnaar wordt verwezen, maar een andere bewering. Desondanks citeert hij in zijn blogpost duidelijk de disclaimer van de auteurs van het onderzoek over de onzekerheid over de effecten van gezichtsmaskers: "De lage tot matige zekerheid van het bewijs betekent dat ons vertrouwen in de effectschatting beperkt is en dat het werkelijke effect kan verschillen van de waargenomen schatting van het effect."... “[H]et hoge risico op vertekening in de onderzoeken, variatie in uitkomstmeting en relatief lage naleving van de interventies tijdens de onderzoeken bemoeilijken het trekken van harde conclusies en het generaliseren van de bevindingen naar de huidige COVID-19-pandemie.  Het is daarom niet waar dat Dr. Malone “geen rekening heeft gehouden met de beperkingen van de review."

Vonnis: de verklaring van Carballo-Carbajal is onjuist.

3. Stelling: “[De] individuele studies […] die [in de review] werden geëvalueerd, varieerden sterk in termen van kwaliteit, studieopzet, bestudeerde populaties en waargenomen resultaten, […] [waardoor] de auteurs geen definitieve conclusies konden trekken .”

Discussie: de studies resultaten zijn duidelijk: “Er is weinig zekerheid uit negen onderzoeken (3,507 deelnemers) dat het dragen van een masker weinig of geen verschil kan maken voor de uitkomst van griepachtige ziekte (ILI) in vergelijking met het niet dragen van een masker (risicoratio (RR) 0.99, 95 procent betrouwbaarheidsinterval (BI) 0.82 tot 1.18 Er is matig zekerheidsbewijs dat het dragen van een masker waarschijnlijk weinig of geen verschil maakt voor de uitkomst van door laboratoriumonderzoek bevestigde griep in vergelijking met het niet dragen van een masker (RR 0.91, 95 procent BI 0.66 tot 1.26; 6 onderzoeken; 3,005 deelnemers). … Het gebruik van een N95/P2-ademhalingstoestel in vergelijking met een medisch/chirurgisch masker maakt waarschijnlijk weinig of geen verschil voor de objectieve en nauwkeurigere uitkomst van een door laboratoriumonderzoek bevestigde griepinfectie (RR 1.10, 95 procent BI 0.90 tot 1.34; bewijs met matige zekerheid; 5 onderzoeken; 8,407 deelnemers).

Die resultaten worden herhaald in de conclusies van de auteurs, waarbij de disclaimer wordt toegevoegd “[H]et hoge risico op vertekening in de onderzoeken, variatie in uitkomstmeting en relatief lage naleving van de interventies tijdens de onderzoeken bemoeilijken het trekken van harde conclusies en het generaliseren van de bevindingen naar de huidige COVID-19-pandemie.”

Deze disclaimer is de strohalm waaraan Carballo-Carbajal zich met alle macht vastklampt. Maar zoals de hoofdauteur van de studie heeft uitgelegd, verandert dit niets aan de resultaten van de studie, er wordt alleen vermeld dat de resultaten kunnen worden beïnvloed door onzekerheden die voortvloeien uit beperkingen van de gebruikte studies. In zijn eigen woorden:

“Het heet voorzichtigheid, en het heet eerlijk zijn met het bewijs dat we hebben gevonden. Dit is het beste bewijs dat we hebben” (zie referentie hieronder).

Het lijkt erop dat Carballo-Carbajal de betekenis van een disclaimer in een wetenschappelijk artikel niet begrijpt; in plaats daarvan probeert ze dit te gebruiken om de onderzoeksresultaten ongeldig te maken en haar bewering te staven dat maskers werken, ondanks het bewijs. Een disclaimer in een onderzoek maakt de resultaten niet ongeldig.

Oordeel: de verklaring van Carballo-Carbajal is misleidend.

4. Stelling: Gerandomiseerde gecontroleerde onderzoeken worden beschouwd als de gouden standaard bij het beoordelen van de effectiviteit van een interventie.

Discussie: De referentie waarop deze verklaring is gebaseerd, is de blog van Dr. Malone. Hoewel deze bewering heel goed waar kan zijn, is het een ernstige logische fout om te concluderen dat iets in het algemeen "als de gouden standaard wordt beschouwd" op basis van de mening van een wetenschapper.

Vonnis: verklaring van Carballo-Carbajal logisch ongeldig.

5. Stelling: Onderzoeken met de gouden standaard variëren sterk in kwaliteit.

Discussie: Deze bewering wordt niet ondersteund door enig bewijs. Het kan waar zijn, of misschien niet.

Vonnis: de verklaring van Carballo-Carbajal wordt niet ondersteund door bewijs.

6. Stelling: Veel wetenschappers zijn van mening dat gerandomiseerde gecontroleerde onderzoeken moeten worden gezien als onderdeel van een breder bewijs.

Discussie: De bron hiervoor is een artikel in The Gesprek door drie epidemiologen en één deskundige eerstelijnsgezondheidszorg. De auteurs maken deze bewering zeker, maar zonder enige referentie te citeren. De bewering dat het gebaseerd is op de mening van "veel epidemiologen" is dus gewoon onjuist. Dit is een bewering van drie epidemiologen en gezien het enorme aantal mensen met die opleiding is het woord 'veel' zeker niet gerechtvaardigd. Hieraan moet worden toegevoegd dat een beroep op cijfers (argumentum ad populum) een logische fout is.

Vonnis: de verklaring van Carballo-Carbajal wordt niet ondersteund door bewijs. De vermeende relevantie ervan is gebaseerd op argumentum ad populum, een logische fout.

7. Stelling: Wanneer rekening wordt gehouden met onderzoeken die niet voldoen aan de vereisten van gouden standaardonderzoek, blijkt dat wijdverbreid gebruik van maskers de overdracht door de gemeenschap kan verminderen.

Discussie: Het is natuurlijk waar dat je door het verlagen van de norm andere resultaten kunt krijgen, maar deze stelling is problematisch, want Carballo-Carbajal lijkt hieruit de conclusie te trekken dat maskers, ondanks het resultaat van de Cochrane-review, overdracht inderdaad voorkomen . Dit blijkt duidelijk uit deze passage, tegen het einde van het artikel: “Een groeiend aantal bewijzen uit RCT's en observationele studies suggereert dat het consequent dragen van maskers de verspreiding van respiratoire virussen zoals SARS-CoV-2 effectief kan verminderen, zowel in de gezondheidszorg als in de gemeenschap. … Voorlopig vormen gezichtsmaskers een andere beschermingslaag naast vaccinatie, veelvuldig handen wassen en fysieke afstand houden wanneer de circulatie van respiratoire virussen hoog is.

Dit betekent dat de bewering van Carballo-Carbajal niet alleen is dat onderzoeken van lage kwaliteit iets suggereren; uit de slotverklaring blijkt dat ze duidelijk beweert dat wat ze suggereren ook echt waar is. Deze bewering is nog duidelijker in haar kop: “Uit meerdere onderzoeken blijkt dat mondkapjes de verspreiding van COVID-19 verminderen.” Een subtiel verschil aan de oppervlakte, maar een allerbelangrijkste. Het betekent dat het gerechtvaardigd is om de oorspronkelijke verklaring te herformuleren als: “Als er rekening wordt gehouden met studies die niet voldoen aan de vereisten van gouden standaardonderzoek, blijkt dat wijdverbreid gebruik van maskers de overdracht door de gemeenschap kan verminderen en dit is een terechte conclusie. '

Dit brengt ons bij de vraag waarom de studies van lage kwaliteit die Carballo-Carbajal citeert niet zijn opgenomen in de Cochrane-review. Gelukkig hebben we een afschrift van een gedetailleerd interview tussen de hoofdauteur van de studie, Dr. Tom Jefferson (JF) en Dr. Carl Heneghan (CH), waar dit in detail wordt besproken:

CH. Kijk, ik ga je hier onder handen nemen. In de conclusies van de auteur gaan mensen deze recensie lezen en beginnen ernaar te kijken en zeggen: kijk, we hebben het hoogwaardige bewijs, we hebben gerandomiseerde gecontroleerde onderzoeken en vooral op maskerniveau gaan ze zeggen , kijk, je laat in de gemeenschap dit gebrek aan effect zien, maar je begint met het hoge risico op vertekening in het onderzoek, variatie in uitkomstmeting en relatief lage therapietrouw bij de interventie tijdens de onderzoeken, wat ons belemmert om harde conclusies te trekken . Nu duw ik dat punt, omdat het voor de hand liggende antwoord dan is om naar alle observationele onderzoeken te gaan waar mensen systematische beoordelingen hebben gedaan en zeker definitieve conclusies hebben getrokken over wat ze moeten doen. Dus zou je even kunnen toelichten wat dat betekent in de context van 78 trials – dat zijn veel gerandomiseerde controle trial bewijzen – kun je toelichten wat dat betekent?

TJ. Het heet voorzichtigheid, en het heet eerlijk zijn met het bewijs dat we hebben gevonden. Dit is het beste bewijs dat we hebben, maar in tegenstelling tot sommige ideologen die het idee propageren dat niet-gerandomiseerde studies, observationele studies antwoorden zouden kunnen geven, komen sommigen met ingrijpende antwoorden, ingrijpende uitspraken, zekerheden, die gewoon niet thuishoren in wetenschap. Wetenschap gaat niet over zekerheid, wetenschap gaat over onzekerheid, het gaat erom te proberen op de agenda te komen en kennis te vergaren. Het gebruik van niet-gerandomiseerde onderzoeken bij de beoordeling van respiratoire virussen van interventies met respiratoire virussen betekent dat mensen het spel van verschillende factoren niet begrijpen. Bijvoorbeeld de seizoensinvloeden, bijvoorbeeld het grillige komen en gaan van deze agenten, de ene dag zijn ze er en de andere dag weer weg. Als je kijkt naar het SARS-CoV-2-gedrag in de Britse bewaking van de afgelopen 12 maanden, is het op en neer, en het is gewoon volledig onafhankelijk van enige interventie, en het gaat ook heel snel omhoog en heel snel omlaag. Observationele studies kunnen dat niet verklaren. Bovendien is een zeer groot deel van de observationele studies retrospectief, en dus onderhevig aan meedogenloze recall-bias; onderzoekers trekken conclusies uit gegevens die ze hebben verkregen door vragen te stellen als "Kunt u zich een maand geleden herinneren hoe vaak u een masker droeg" of "Wat u hierop deed of wat u onlangs deed" zonder een dagboek bij te houden. Dit is gewoon geen wetenschap. Metermaat afleiden, afstand nemen, terwijl de oorspronkelijke studies zoiets niet deden. Dit is dus gewoon een eindeloze lijst van vooroordelen waarmee geen rekening kan worden gehouden door observationele studies. En de enige manier waarop we vragen moeten beantwoorden, is door grote prospectieve gerandomiseerde controleproeven uit te voeren om een ​​specifieke vraag in een specifieke populatie te beantwoorden.

Zoals Jefferson hier uitlegt, maken de beperkingen van observationele studies het vrijwel onmogelijk om daaruit de conclusie te trekken die Carballo-Carbajal doet. Carballo-Carbajal citeert een aantal observationele studies om haar bewering te ondersteunen. Ik zal ze hier niet allemaal doornemen, maar het bekijken van enkele voorbeelden zou voldoende moeten zijn om bewijs te leveren voor enkele van de problemen die Jefferson bespreekt, en om enkele van Carballo-Carbajals ongefundeerde conclusies te weerleggen.

Bijvoorbeeld een van de aangehaalde studies, Wang et al, concludeert dat het gebruik van een gezichtsmasker door de primaire casus en familiecontacten voordat de primaire casus symptomen ontwikkelde voor 79 procent effectief was in het verminderen van de overdracht. Dit is een retrospectieve observationele studie waarbij het bewijs voor het gebruik van maskers puur gebaseerd is op de eigen zelfrapportage van de deelnemer achteraf. 

Nog een, Mello et al. laat zien hoe virale deeltjes zich ophopen in maskers, maar Carballo-Carbajal beschouwt dit als bewijs dat “[a]beschikbare gegevens geven aan dat het dragen van een masker effectiever is in combinatie met andere controlemaatregelen, zoals afstand houden en regelmatig handen wassen.”

Samenvattend beweert Carballo-Carbajal dat, aangezien studies van hoge kwaliteit de effectiviteit van maskers tegen overdracht niet bewijzen, onbetrouwbare observationele studies, die zijn uitgesloten van de meta-review van de "gouden standaard", juist vanwege hun onbetrouwbaarheid, bewijzen wat de hoge kwaliteitsstudies bewijzen niet.

Vonnis: Carballo-Carbajal's (geherformuleerde) verklaring is onjuist. Zonder herformulering is het niet relevant.

8. Stelling: Het effect van maskergebruik is groter in combinatie met andere interventies.

Discussie: Deze verklaring is problematisch. Uit het hoogwaardige bewijs van de Cochrane-review blijkt al duidelijk dat de bewering dat maskers de overdracht verminderen, niet bewezen is. Dit betekent dat beweren dat ze bijdragen aan de bescherming die door andere interventies wordt geboden, onjuist moet zijn.

Vonnis: de verklaring van Carballo-Carbajal is onjuist.

Carballo-Carbajal begint met het ten onrechte toeschrijven aan Dr. Robert Malone van twee beweringen die hij nooit heeft gedaan. Die valse beweringen worden de basis van haar 'factcheck'.

Vervolgens beschuldigt ze dr. Malone ten onrechte van het afleggen van valse verklaringen over een andere kwestie, een argument ad hominem dat niet relevant is voor het onderwerp van het artikel.

Van de acht beweringen van Carballo-Carbajal in haar samenvatting, ondersteund door haar hoofdtekst, zijn er vier ronduit onjuist, één is logisch ongeldig, één is misleidend en twee worden niet ondersteund door enig bewijs, waarvan er één is gebaseerd op ook een logische fout.

Gezien het feit dat dit ernstig gebrekkige artikel nu blijkbaar wordt gebruikt om de verspreiding van een belangrijk wetenschappelijk artikel te onderdrukken, om de hoofdredacteur van Cochrane ertoe te bewegen valse beweringen te doen over het doel van het artikel en de resultaten ervan te bagatelliseren, en om een ​​recensie van de bevindingen van een belangrijke reguliere krant, is er duidelijk een dringende noodzaak om krachtig op te treden tegen de zogenaamde "fact-checking" -industrie. Het niveau waartoe deze censuur is geëscaleerd, vormt een duidelijke en actuele bedreiging voor wetenschappelijk onderzoek en ontwikkeling.