NRK endret veggissak basert på en feil som ikke var feil

I dag kunne NRK fortelle at unge kvinner vil ha vegetarmat i jula. Artikkelen var basert på tall fra en undersøkelse fra Opplysningskontoret for frukt og grønt (OFG). Det er en bransjeorganisasjon som jobber for at vi skal spise og kjøpe mer frukt og grønnsaker i Norge.

I artikkelen stod det at «over halvparten av kvinner mellom 18 og 25 år vil ha vegetarmat ein av de tre juledagane».

Timer senere endret NRK i sin egen sak. Tittelen ble endret fra «Unge kvinner vil ha vegetarmat i jula» til «Første jul utan kjøtt, sjølv om pappa ikkje liker det». I presiseringen øverst i den nye versjonen av saken skriver NRK følgende:

I ein tidlegare versjon av denne saka, skreiv NRK at over halvparten av kvinner mellom 18 og 25 år vil ha vegetarmat ein av de tre juledagane. Den opplysninga var ikkje basert på eit representativt utval, og er derfor tatt ut av saka.

Men stemmer det at disse opplysningene ikke var basert på et representativt utvalg?

Landsrepresentativ undersøkelse

Undersøkelsen ble gjennomført av Norstat i oktober 2019. Ifølge OFG er den landsrepresentativ. 1500 personer i alderen 18 år og over er intervjuet. Svarene er vektet etter kjønns- og alderssammensetningen i befolkningen.

Siden det ikke er mulig å spørre alle nordmenn om hva de mener, spør man kun et lite utvalg av dem. Er utvalget riktig sammensatt, skal resultatene speile populasjonen - riktignok med en feilmargin. Det betyr at de 1500 spurte representerer hva den voksne befolkningen i Norge mener.

Tallet NRK først vinklet saken sin på gjaldt kun unge kvinner i alderen 18 til 25 år. Det er gjort et uttrekk fra utvalget på 1500 personer, slik at bare svarene fra kvinner i alderen 18 til 25 år er tatt med. Man sitter da igjen med en gruppe, eller et slags underutvalg, på 158 personer.

Resultatet ser slik ut:

Undergrupper skal også være representative

Men hva skjer når det representative utvalget blir til «et underutvalg» på rundt en tiendedel av den opprinnelige utvalgsstørrelsen? Er ikke undergruppen lenger et representativt utvalg som kan si noe fornuftig om hva kvinner i alderen 18 til 25 i befolkningen vil spise?

Joda. NRK hadde ikke trengt å endre i saken sin – i hvert fall ikke fordi utvalget ikke var representativt.

Statistikknestor og professor emeritus Ottar Hellevik ved Institutt for statsvitenskap på Universitetet i Oslo forklarer:

– Så lenge hovedutvalget er representativt, kan man også gå ut ifra at undergruppen er det. Det er helt standard metode å dele opp hovedutvalget i undergrupper.

Men, selv om det lave antallet respondenter ikke spiller inn på hvorvidt utvalget er representativt eller ikke, gjør det utslag på den såkalte feilmarginen.

Feilmarginen gjør tallet usikkert

Siden man aldri spør absolutt hele populasjonen i en meningsmåling, vil resultatene alltid ha en viss grad av usikkerhet. For å si noe om hvor nøyaktig resultatet er, kan man gjøre en utregning for å finne feilmarginen.

Feilmarginen angir innenfor hvilke rammer vi kan regne med at resultatet for hele populasjonen vil ligge.

I den opprinnelige saken skrev NRK at «over halvparten av kvinner mellom 18 og 25 år vil ha vegetarmat ein av de tre juledagane». Dette er usikkert – men altså ikke fordi utvalget ikke er representativt. Usikkerheten skyldes feilmarginen.

Hvis vi regner med en konfidensnivå på 95 prosent, vil feilmarginen ligge på pluss/minus 7,8 prosent. Det vil si at mellom 46 prosent og 61,6 prosent av kvinner mellom 18 og 25 år i den norske befolkningen vil ha vegetarmat «omtrent én gang», «omtrent to ganger» eller «omtrent tre ganger» i løpet av de tre juledagene 24. til 26. desember.