DELEN | AFDRUKKEN | E-MAIL
Ik verwelkom Eyal Shahar's oproep tot herziening van Covid-vaccinatiedocumenten. Sterker nog, ik begon er al lang voordat Eyal aan de bel trok – zelfs voordat de vaccins verschenen.
Aan het einde van het verschrikkelijke jaar 2020, een zeer invloedrijk artikel verscheen in WetenschapHet haalde de krantenkoppen in grote media over de hele wereld. De krant, getiteld “Het afleiden van de effectiviteit van overheidsinterventies tegen COVID-19,” werd al snel door regeringen over de hele wereld gebruikt om hun steeds autoritairdere beleid te rechtvaardigen.
Het trok mijn aandacht omdat de laatste auteur de Tsjechische wiskundige Jan Kulveit was. Samen met mijn twee collega's, Ondřej Vencálek en Jakub Dostál, schreven we het volgende antwoord:
"Alle modellen zijn fout, maar sommige zijn nuttig", luidt een beroemde uitspraak die doorgaans aan George Box wordt toegeschreven. Tegenwoordig zou hij misschien zeggen dat alle modellen fout zijn, en sommige zelfs gevaarlijk. Dit is, naar onze mening, het geval voor de studie."Het afleiden van de effectiviteit van overheidsinterventies tegen COVID-19"1 dat verscheen binnen Wetenschap en kreeg wereldwijd veel aandacht.
De studie beoogt de effectiviteit van niet-farmaceutische interventies (NPI's) bij de bestrijding van de Covid-19-pandemie te begrijpen. De auteurs analyseren gegevens over het totale aantal gevallen en sterfgevallen in 41 (voornamelijk Europese) landen tussen januari en eind mei 2020. Ze maken een schatting van de effecten van 8 verschillende NPI's (zoals het beperken van bijeenkomsten, het sluiten van scholen, enz.) die in veel landen tijdens de bestudeerde periode zijn geïmplementeerd. Het effect van elke NPI wordt gekwantificeerd door de vermindering van het infectiereproductiegetal R op het moment dat de NPI in het betreffende land werd ingevoerd.
De resultaten zijn breed verwelkomd, omdat ze lijken aan te tonen dat alle NPI's over het algemeen werken, en de effectgroottes lijken te stroken met het gezond verstand (bijvoorbeeld: hoe meer je bijeenkomsten beperkt, hoe groter de reductie van R die je behaalt). Overheden over de hele wereld zullen blij zijn te horen dat de opgelegde beperkingen gerechtvaardigd waren. Maar waren ze dat ook?
In feite weten we het niet, en deze studie helpt ons daar niet bij. Wij stellen dat er een fatale fout in het model zit die het onbruikbaar maakt. Kijkend naar de enige vergelijking in de hoofdtekst van het artikel (zie de paragraaf "Korte modelbeschrijving"), zien we dat de auteurs ervan uitgaan het onderliggende (niet-waarneembare) basisreproductiegetal R0,c te constant in de tijd voor elk land. Dit basisreproductiegetal wordt vervolgens vermenigvuldigd met de effecten van de NPI's en dit wordt aangepast aan de data. Zo is het model gaat ervan uit dat elke verandering in de dynamiek van de epidemie te wijten is aan de NPI'sDit is misleidend omdat het een cirkelredenering is. Als je de effecten van een interventie wilt kwantificeren, kun je er niet van uitgaan dat alle waargenomen effecten aan de interventie zelf te danken zijn.
Ook deze aanname van constante R0,c suggereert waarom de auteurs ervoor kozen om te stoppen met modelleren zodra een NPI is opgeheven. De NPI's worden meestal opgeheven naarmate de epidemie afneemt. De NPI's zijn dus aanwezig wanneer R hoog is, en ze zijn afwezig wanneer R laag is. Met gegevens uit een langer tijdsinterval (inclusief de zomerperiode met lage prevalentie en versoepelde NPI's) zou het eenvoudige model dat de auteurs gebruikten een negatief Effect – dat NPI's de epidemie versnellen. Dit was duidelijk ongewenst, dus kozen de auteurs ervoor om de gegevens van de zomer niet te gebruiken om het model te passen. Een dergelijke modelleringsstrategie is zeer twijfelachtig.
Om ons punt volledig duidelijk te maken, voerden we het volgende experiment uit. We namen de originele dataset2 en bedacht een nieuwe NPI die nooit heeft bestaan. Laten we zeggen dat vanaf de invoering van deze nieuwe NPI elke burger verplicht was een T-shirt te dragen met de inscriptie "Stop-Covid", totdat deze NPI werd opgeheven.
We hebben een willekeurige datum gekozen uit de periode waarin een bepaald land werd gemodelleerd, en deze T-shirt NPI aan de data "opgelegd" (zie referentie [3] voor de originele dataset met de T-shirt NPI toegevoegd). We hebben de aantallen gevallen en sterfgevallen hoe dan ook niet gewijzigd. Een dergelijke NPI heeft nooit bestaan en kan dus geen effect hebben gehad. Vervolgens hebben we het originele model (zie referentie [4] voor de link naar GitHub naar de versie die we gebruikten) uitgevoerd zonder parameters aan te passen. Het resultaat is te zien in figuur 1. De T-shirts hebben de pandemie bijna doen verdwijnen!
Hoe is dit mogelijk? Elke epidemie heeft zijn eigen intrinsieke dynamiek. Het eenvoudigste SIR-model produceert een enkele piek in het aantal actieve gevallen. Als we zo'n piek willen reproduceren met een eenvoudige exponentiële functie (wat de auteurs doen), dan is de coëfficiënt in de exponent (d.w.z. de empirisch reproductienummer) moet verlagen in de tijd vanaf het begin van de eerste golf. Dus, ervan uitgaande dat elke effect op het reproductiegetal is te wijten aan NPI's, het model kan niets anders produceren dan een positief effect (d.w.z. een reductie van R) op elke NPI. Zelfs op een niet-bestaande, zoals we hebben aangetoond.
Daarom is het model volgens ons misleidend en zeer gevaarlijk, omdat het door de regeringen kan worden gebruikt om achteraf de gevolgen van de crisis te rechtvaardigen. elke NPI die ze de mensen hebben opgelegd. We beweren niet dat sommige/alle NPI's geen positief effect hebben gehad. We zeggen alleen dat dit model geen manier is om daarachter te komen.
Figuur 1Door een "Stop-Covid"-T-shirt te dragen, verdwijnt de pandemie.
Wij hebben onze reactie als brief aan de redactie van WetenschapHet antwoord was: het speet ze enorm, maar ze konden onze brief niet publiceren. Ze zeiden niet waarom.
Dus ik kopieerde en plakte hun eigen ‘missieverklaring’ in een e-mail – zoiets als ‘De Science-tijdschriftenfamilie draagt bij aan het doel van de AAAS om de communicatie tussen wetenschappers, technici en het publiek te verbeteren.Ik herinnerde hen eraan dat geen enkele communicatie ooit is verbeterd door het censureren van afwijkende stemmen.
Uiteindelijk waren ze zo vriendelijk om ons toe te staan onze reactie als e-mail te plaatsen, verborgen achter de aanvullende informatie van het oorspronkelijke artikel. De e-mail mag niet worden geciteerd, er mogen geen figuren in worden gebruikt en de tekst zal in geen enkele zoekopdracht verschijnen.
We hebben een Tsjechische versie van ons antwoord gepubliceerd onder de titel "Werken de maatregelen om de pandemie in te dammen? Ja, minister!" op de website van het Tsjechisch Statistisch Genootschap. Het leverde ons een o zo beleefde brief van de auteur op – en een stille ban in de reguliere media.
Zo, dat was het dan. Heb je nog betere verhalen over Covid?
Referenties
- JM Brauner et al., Wetenschap, 10.1126/science.abd9338 (2020).
- https://github.com/epidemics/COVIDNPIs/blob/1.3.6/merged_data/data_final_nov.csv
- https://gist.github.com/DostalJ/92e134f9ab4032289b77172d0e6ff583
- https://github.com/epidemics/COVIDNPIs/blob/1.3.6/notebooks/main_results.ipynb
-
Tomas Fürst doceert toegepaste wiskunde aan de Palacky Universiteit in Tsjechië. Hij heeft een achtergrond in wiskundige modellering en datawetenschap. Hij is medeoprichter van de Association of Microbiologists, Immunologists, and Statisticians (SMIS), die het Tsjechische publiek voorziet van op data gebaseerde en eerlijke informatie over de coronavirusepidemie. Hij is ook medeoprichter van het "samizdat"-tijdschrift dZurnal, dat zich richt op het blootleggen van wetenschappelijk wangedrag in de Tsjechische wetenschap.
Bekijk alle berichten
