Dyp uenighet mellom statistikere

I slutten av oktober hadde Apollon nyheten om at smitteberegningene kan bli bedre i neste pandemi. De to statistikerne, professor Fred Espen Benth og seniorforsker Jūratė Šaltytė Benth, hadde sammen med landets smitteverngeneral under pandemien, overlege Espen Rostrup Nakstad, utviklet det Apollon omtalte som en enklere beregningsmetode av R-tallet enn den som ble brukt av Folkehelseinstituttet (FHI) under pandemien. Og for dem som ikke er så bevandret i begrepet R-tall: R-tallet brukes til å si hvilken vei en pandemi beveger seg.

Sterk kritikk

Nå møter de to statistikerne kritikk fra fire andre statistikere som alle var involvert i FHI-beregningene under pandemien. Forskningssjef Birgitte de Blasio på FHI, seniorforsker Solveig Engebretsen på Norsk Regnesentral og statistikk-professorene Geir Storvik og Arnoldo Frigessi ved UiO mener at den nye metoden inneholder «mange og alvorlige feil».

Metoden til Šaltytė Benth og co ble publisert i det vitenskapelige tidsskriftet Journal of Computational Biology i august 2024. To måneder senere ble metoden deres omtalt i Apollon. Nyheten ble fanget opp av Teknisk Ukeblad og sykepleien.no. «Etter det store oppslaget i Apollon og andre medier», «følte vi det nødvendig å kontakte editor i J. of Computational Biology».

Per dags dato har det vitenskapelige tidsskriftet verken publisert kritikken eller trukket tilbake artikkelen.

– Uenigheter er ikke uvanlig, men dette er mer enn uenighet. Dette er rett og slett feil bruk av statistikk. Hadde det bare vært for den vitenskapelige artikkelen, kan de gjøre hva de vil, men når de går så kraftig ut i media, blir det mer problematisk, beklager Geir Storvik på Matematisk institutt.

Ankepunktene

de Blasio, Engebretsen og Storvik poengterer overfor Apollon hvorfor de reagerer på metoden til Šaltytė Benth, Benth og Nakstad. De sier at en klere metoder i utgangspunktet er fornuftig, men da bare som et supplement til mer kompliserte modeller.

Her er noen av ankepunktene deres:

1) Metoden til Benth og co gir feil estimater av R-tallet. De estimerer to daglige parametere basert på bare én observasjon (endringen av antall smittede). Dette gir et identifiseringsproblem med uendelig antall løsninger. De velger én av disse løsningene som sier at det i snitt bare går to dager fra en person blir smittet til den neste blir smittet. Men det var klare indikasjoner fra smittesporingen tidlig i pandemien at det i snitt tok fem dager eller mer. Valget deres gir feil R-tall.

2) De argumenterer for at liten usikkerhet er viktig og at usikkerheten i modellen deres er liten. Men metoden de bruker for å estimere usikkerhet, er feil. De forveksler variasjon i R-tallet med variasjon av estimatet av R-tallet. Målet er ikke nødvendigvis å få minst mulig usikkerhet, men et korrekt usikkerhetsintervall.

3) Benth og co argumenterer for at det holder å bruke de daglige tallene fra smittetestingen. De tar ikke hensyn til at et stort antall smittede ikke testet seg. De tar heller ikke hensyn til andre svakheter med testdataene, slik som endring i testkapasiteten. Særlig i begynnelsen, men også senere i pandemien, var kvaliteten på testdataene lav. FHI så tidlig i pandemien at antall sykehusinnleggelser var mer pålitelige data. Disse tallene ble derfor brukt i kombinasjon med testdataene.

4) Benth og co konkluderer at mange av tiltakene under pandemien kunne vært unngått basert på at deres anslag av R-tall var mindre ekstreme enn de tallene som FHI publiserte. I tillegg til at anslagene deres er feil, har de ikke tatt hensyn til at R-tallene faktisk kunne ha vært enda mer ekstreme uten tiltak.

5) Sammenligningen med resultatene til FHI blir også feil, fordi de ikke tar hensyn til slike ting som forsinkelser fra smittet til smittsom og at FHI brukte ulike modeller og datakilder. De tre statistikerne ønsker dessuten å legge til:

• Da pandemien kom, startet FHI modelleringsgruppen samarbeid med forskere fra Norsk Regnesentral, UiO og Telenor. De hadde alle lang erfaring med statistisk og matematisk modellering av smittsomme sykdommer. De hadde jevnlige møter med modelleringsgrupper fra de andre nordiske landene.

• De vurderte kontinuerlig styrker og svakheter av ulike datakilder.

 • FHI baserte anbefalingene sine på en helhetlig vurdering av tilgjengelig kunnskap, herunder flere modeller, både avanserte og enkle (og ikke bare én som det fremkom i Apollon-saken).

• FHI ønsker nå et tettere samarbeid med folkehelseinstitusjoner og akademia i Norden for å være enda bedre skodd under fremtidige kriser.

Svært uenig

Jūratė Šaltytė Benth og Fred Espen Benth tilbakeviser kritikken.

Svar på punkt 1: Dette må basere seg på en misforståelse av tilnærmingen vår. Vi har redegjort for dette i den vitenskapelige artikkelen vår.

Svar på punkt 2: I beregningene våre i den vitenskapelige artikkelen har vi ikke forvekslet variasjon i anslaget på R-tallet med estimert usikkerhet. Angående beregningen av usikkerhetsintervallet henviser vi til faglitteraturen.

Svar på punkt 3: Bruken av testdata er ikke uvanlig i lignende sammenhenger. Vi er ikke uenige i at testdata kan være usikre og av varierende kvalitet gjennom en pandemi. I den vitenskapelige artikkelen anerkjenner vi denne usikkerheten og diskuterer hvilke implikasjoner den kan føre til.

Svar på punkt 4: Det finnes ikke et objektivt R-tall som kan fastslå hvilket anslag som er riktig eller galt. I den vitenskapelige artikkelen diskuterer vi ikke om tiltakene i Norge kunne ha vært unngått. Dette ble bare nevnt under Apollon-intervjuet – som en mulig vurdering der og da basert på våre tall.

Svar på punkt 5: Vi er enige i at det er viktig å forstå de underliggende forutsetningene, og dette er noe som alltid bør diskuteres mellom forskere og beslutningstakere. De to statistikerne poengterer dessuten at de i Apollon-reportasjen anerkjente pandemi-beregningene til FHI.

– Vi understreket tidspresset de arbeidet under og påpekte hvor enkelt det var for oss å være etterpåkloke. I den vitenskapelige artikkelen sammenlignet vi resultatene våre med tallene deres, som vi ser på som en god målestokk. Vi sa også at det er mange faktorer som påvirker beslutninger under pandemier og at det ikke er tilstrekkelig å forholde seg ene og alene til R-tallet.