Sensa­sjonell D-vita­min­studie er full av mangler

Forrige helg kunne NRK fortelle en tilsynelatende god nyhet. Spanske forskere hadde funnet ut at koronapasienter hadde 60 prosent større sjanse for å overleve når de ble behandlet med D-vitamin. I tillegg hadde pasientene som ikke fikk D-vitamin fire ganger større sannsynlighet for å trenge intensivbehandling i den spanske studien, fortalte NRK.

NRK-artikkelen var den mest engasjerende saken i sosiale medier i Norge den dagen den ble publisert, ifølge Storyboard. Det er kanskje ikke så rart. Flere forskere har jobbet med å se på sammenhenger mellom vitamin D-nivå og covid-19. Kan de spanske forskerne nå ha funnet et viktig svar i studien NRK omtaler?

En del lesere av NRKs artikkel så ut til å mene nettopp dette.

Forskningsartikkelen er fjernet

Dette er ikke eksperter Faktisk.no har snakket med enige i. De mener studien har klare mangler, og at den gir seg ut for å være noe den ikke er.

Forskningsartikkelen er nå fjernet fra databasen der den var publisert, med følgende kommentar:

Utgiverne skriver altså at de har fjernet artikkelen på grunn av bekymring rundt beskrivelsen av forskningen. De skriver også at de har startet en nærmere undersøkelse av studien.

Etter at Faktisk.no tok kontakt har NRK lagt til en endring i artikkelen sin, der de opplyser om at studien har blitt trukket, og at den har ført til debatt blant andre forskere rundt metodikken.

Les NRKs svar til Faktisk.no nederst i denne artikkelen.

Hva betyr «preprint»?

Studien ble opprinnelig publisert som en såkalt preprint av det anerkjente medisinske tidsskriftet The Lancet.

Som NRK skriver er ikke artikkelen fagfellevurdert ennå. Fagfellevurdering betyr at andre forskere som er eksperter på området går gjennom metoden som er brukt og sjekker om resultatene stemmer.

Dette er en prosess som kan ta mange måneder. Under koronapandemien har forskere derfor begynt å dele forskningen sin før den er fagfellevurdert. Disse forskningsartiklene kalles preprints, og studien NRK omtaler er altså en slik.

Det gjør at man må være varsom i omtalen av slik forskning:

– Tidlig deling av artikler som ikke er fagfellevurdert medfører selvfølgelig en viss fare for at noen av forskningsresultatene ikke holder mål. I en tid som dette er det viktig at vi er oss det bevisst, det gjelder både forskningsmiljøer, journalister og andre brukere av forskning, sa John-Arne Røttingen, direktør i Norges forskningsråd, til Forskning.no i mars i fjor.

Artikkelen som NRK omtaler er merket med en tekst som sier at den ikke er fagfellevurdert, og at funnene ikke må brukes som beslutningsgrunnlag eller presenteres til lekfolk uten at det opplyses om at funnene er foreløpige.

Faktisk.no har tidligere skrevet om hva man må passe på når forskningen på koronaviruset skjer raskere enn vanlig:

– Plukket fra hverandre

En av forskerne som Faktisk.no har bedt om å se nærmere på studien er Jon Michael Gran. Han er førsteamanuensis ved Avdeling for biostatistikk på Universitetet i Oslo, og er tilknyttet Oslo senter for biostatistikk og epidemiologi (OCBE). Ifølge Gran har studien veldig mange metodiske mangler:

– Ganske raskt etter at den kom ut i media ble studien plukket fra hverandre på grunn av metodeproblemer, som gjør at den ikke er egnet til å si noe om effekten av D-vitamin for korona-pasienter.

Gran mener at den mest alvorlige feilen er at studien gir seg ut for å være en randomisert studie uten å være det.

Randomiserte kontrollerte studier (RCT) regnes som gullstandarden når man skal undersøke virkningen av en behandling. Enkelt forklart betyr randomiserte kontrollerte studier at man deler inn pasienter i to tilfeldige behandlingsgrupper.

Den ene gruppen får behandlingen som skal testes, mens den andre gruppen er en kontrollgruppe som ikke gjør det, eller som får placebo. Etterpå sammenligner man gruppene. For at ikke utfallet av undersøkelsen skal skyldes andre ting enn behandlingen, skal gruppene på forhånd være så like som mulig. Dette gjøres ved å fordele pasientene tilfeldig, også kalt randomisering.

Bedre studie viser ingen effekt

Gran utdyper:

– Denne studien gir seg ut for å randomisere 930 pasienter til enten å få behandling eller å være kontroller. Når man ser nærmere etter er «randomiseringen» gjort ved at fem sykehusavdelinger blir valgt ut til å gi behandling til pasientene sine, mens tre andre sykehusavdelinger ikke gir behandling.

Det vil da være veldig sannsynlig at forskjeller man ser mellom de som fikk behandling og ikke, kun er forskjeller mellom pasientene som i utgangspunktet ble lagt inn på de ulike avdelingene. Pasienter kan variere mye mellom ulike avdelinger, forklarer Gran.

– Ingenting av dette er tatt høyde for i analysene eller diskutert i artikkelen. Studien er heller ikke registrert som en randomisert studie, og forfatterne har etterhvert kommet med et merkelig uttalelse på nett hvor de bekrefter at den ikke er en randomisert studie, selv om de fortsatt bruker ordet randomisert i artikkelen, skriver Gran i en e-post til Faktisk.no.

Gran synes det er rart at en studie som viser så enorme effekter ikke har blitt ettergått nærmere før den havnet i media.

– Det at studien feilaktig blir solgt som en randomisert studie er nok hovedgrunnen, da det får mange til å legge fra seg sin kritiske sans, skriver Gran.

Gran viser i stedet til en nylig publisert og ifølge ham korrekt utført RCT-studie som er fagfellevurdert. Her ble det ikke funnet noen effekt av behandling med store doser vitamin D på sykehusinnlagte pasienter med moderat til alvorlig covid-19.

– Alvorlige metodiske mangler

Også statistikere ved Avdeling forskningsstøtte for kliniske studier på Oslo universitetssykehus (OUS) og Oslo senter for biostatistikk og epidemiologi (OCBE) ved OUS har sett nærmere på studien på vegne av Faktisk.no. De skriver, som Gran, at studien har en rekke alvorlige metodiske mangler.

– Studien er designet som en gruppe-randomisert studie, der forskerne randomiserer grupper av pasienter i stedet for hver enkelt pasient. Det er i utgangspunktet et vanlig forskningsdesign, men da må analysene ta høyde for denne grupperingen, og det er ikke gjort i denne studien, skriver forskerne Erica Ponzi, Inge C. Olsen og Morten W. Fagerland.

De påpeker at tommelfingerregelen for gruppe-randomiserte studier er å ha minst 20 enheter. I denne studien har forskerne sammenlignet bare åtte sykehusavdelinger.

– Dette er svært lite robust, og effekten av randomisering er mest sannsynlig ikke oppnådd, skriver statistikerne til Faktisk.no.

– For godt til å være sant

Faktisk.no har også bedt Jutta Dierkes ved Universitetet i Bergen om å se på studien. Dierkes er professor i klinisk ernæring og har selv forsket på effekter av D-vitamin.

– Denne artikkelen viser en enorm effekt av D-vitamin. Umiddelbart tenker jeg at det er for godt til å være sant, sier Dierkes.

Også Dierkes peker på at studien ikke er ordentlig randomisert.

– Når de deler gruppene etter sykehusavdelinger kan man ikke være sikker på at det ikke er vesentlige forskjeller på pasientgruppene. Kanskje var gruppene som fikk D-vitamin mindre syke i utgangspunktet.

Dierkes forklarer at deltagerne i studien hadde ulike nivåer av D-vitamin i kroppen før forsøket begynte.

– Pasientene som fikk D-vitamin i studien hadde allerede høyere D-vitaminnivåer i kroppen enn dem som ikke fikk. Siden vi vet at D-vitaminnivåene i kroppen faller når man får en kraftig infeksjon, kan dette bety at pasientene som ikke fikk D-vitamin i studien allerede var sykere enn den andre gruppa, sier Dierkes.

Statistikerne ved OUS peker på noe av det samme:

– Konklusjonen her er ikke at resultatene ser ut til å peke på at D-vitaminbehandling reduserer risikoen for alvorlig sykdom og død, men heller at ubehandlet D-vitaminmangel kan øke risikoen. Hvordan kan man slå fast at effekten de mener å ha funnet skyldes behandlingen, og ikke pasientenes D-vitaminverdier før behandlingen startet? spør Ponzi, Olsen og Fagerland.

Ikke blindet

Dierkes sier også at studien har en svakhet i at den ikke er blindet. Blinding betyr at verken pasienter eller leger vet hvem som får medikamentet og hvem som får juksemedisin (også kalt placebo). Hvis studien ikke er blindet kan legen i verste fall, bevisst eller ubevisst, velge ut hvem som skal få den nye medisinen for å få studien til å vise størst mulig effekt. Samtidig kan pasienter som vet de får medisinen, oppleve en innbilt effekt.

– Jeg kan virkelig ikke se for meg at behandling med ett enkelt vitamin kan øke sjansen for å overleve så kraftig. Vi vet fra før at D-vitamin kan ha en liten positiv effekt når det gjelder enkelte infeksjoner, men effekten er liten, sier Dierkes, og viser til en metastudie fra 2017.

Dierkes sier hun er skeptisk til preprint-systemet, siden det fører til at mye forskning som ikke er fagfellevurdert får stor oppmerksomhet.

– Jeg skjønner at vi trenger rask publisering av viktige forskningsresultater under pandemien, men det gir også mye støy. Kommunikasjon av vitenskapelige resultater er allerede vanskelig. Når uferdig forskning leses av folk som ikke stiller kritiske spørsmål, kan det fort trekkes feil konklusjoner.

– Det er godt mulig at D-vitamin faktisk har en positiv effekt for koronapasienter, men denne studien kan ikke påvise denne effekten i det hele tatt, sier Dierkes.

– Mange ulike meninger om D-vitamin

En av forskerne som har uttalt seg om studien til NRK er Arne Søraas ved OUS. Han jobber for tiden med en studie som skal finne ut om tran kan gi lavere risiko for å bli smittet av koronaviruset.

Til Faktisk.no sier Søraas at det er viktig å presisere at artikkelen NRK omtalte ikke er fagfellevurdert. Det gjorde han også i NRKs nyhetsartikkel.

– Jeg har fulgt med, og har sett at studien nå har fått mye kritikk for metoden sin. Dette er jo nettopp poenget med fagfellevurdering – at andre forskere vurderer studien kritisk, sier Søraas.

– Men det er synd hvis de har brukt så dårlige metoder at resultatene ikke kan brukes til noe. Det blir spennende å se hva som skjer med den fremover.

Søraas presiser at selv om det er mange ulike meninger om forebygging og behandling av sykdommer med D-vitamin, er alle stort sett er enige om at det ikke er bra å ha for lave D-vitamin-nivåer i kroppen.

– Et viktig spørsmål er om det hjelper å ta D-vitamin når man først har blitt syk, eller om det bare er nyttig å ta forebyggende for dem som har for lave nivåer.

Norske helsemyndigheter skriver på Helsenorge.no at de ikke vet om vitamin D hjelper mot koronasykdom. De anbefaler alle å følge de nasjonale anbefalingene for vitamin D, og sørge for at man får i seg det daglige anbefalte inntaket. Man anbefales å ta tilskudd hvis man spiser lite av de matvarene som inneholder vitamin D, og hvis man får lite sollys på huden.

NRK: – Stor offentlig interesse

Faktisk.no har spurt NRK om de mener at artikkelen deres tok høyde for studiens store svakheter i omtalen av den.

Redaktør for NRK Direkte, Espen Olsen Langfeldt, svarer til Faktisk.no at de allerede da saken ble publisert første gang, understreket at den ikke var fagfellevurdert.

– Vi tok også kontakt med tre norske forskere, for å sørge for at vi fikk et bredt kildetilfang rundt funnene og forskningen. En av dem er Haakon Meyer som er sitert på at det gjenstår mye forskning før man kan konkludere.

Olsen Langfeldt skriver også at NRK oppdaterte artikkelen så fort de ble kjent med at forskningsartikkelen ble fjernet. De lenket også til noen av debattene som har oppstått blant forskere i etterkant.

– Forskning rundt covid-19 har stor offentlig interesse, samtidig som mye av den publiseres tidligere i forskningsløpet enn vi er vant med. Derfor er alltid viktig for oss å understreke at forskningen ikke er fagfellevurdert og at vi henter inn ulike kilder, slik vi gjorde i denne artikkelen også, skriver Olsen Langfeldt.

Han skriver at det har vært en rekke prosjekter rundt covid-19 og D-vitamin, at dette er noe av bakgrunnen for at NRK valgte å omtale studien.

– Men generelt sett skal vi være forsiktige med å fremstå bastante når vi presenterer resultater av tidlig forskning.