Nei, VGs menings­måling er ikke «fake news» og resultatet er ikke tatt ut av løse luften

Etter at KrF-leder Knut Arild Hareide tok til orde for et regjeringssamarbeid med Ap og Sp, har KrF fått mye medieomtale. Partiet er splittet mellom dem som er enige med Hareide, og dem som heller vil forhandle med Høyre, Frp og Venstre.

En artikkel i VG med tittelen «Sjokkmåling for høyresiden: KrF-velgere vil ha Støre-regjering» har vekket oppsikt. I saken skriver avisen at:

Om lag 75 prosent av KrFs velgere ønsker en regjering med Ap, Sp og KrF ledet av Ap-leder Jonas Gahr Støre.

Dette ifølge en måling gjort av Respons Analyse, som er fast leverandør av månedlige valgmålinger for VG. I denne artikkelen forklarer VG selv hvordan målingen er gjennomført.

48 respondenter

I starten av artikkelen problematiserer avisen at det bare er 48 KrF-velgere i utvalget. Daglig leder Thor Gaard Olaussen i Respons Analyse sier at selv om det er få personer som har svart, er likevel utslagene markante.

– Vi gjør signifikanstester. Avstanden mellom de som ønsker Støre og de som ønsker Solberg er så stor at det ikke kan være tilfeldig. Overvekten er betydelig, sier Olaussen til VG.

– Tatt ut av luften

At VG baserer saken sin på bare 48 respondenter, har skapt reaksjoner. Blant dem som reagerte var sjefredaktør i Nettavisen, Gunnar Stavrum. Han slaktet VGs gjengivelse av målingen i en kommentar med tittelen:

VGs sjokkmåling er fake news

I ingressen heter det:

At et flertall av KrF-velgerne vil ha Støre-regjering er tatt ut av luften.

Stavrum starter med å kritisere medienes gjengivelse av meningsmålinger generelt, før han går over til å kritisere VG spesielt:

Men dagens «meningsmåling» i VG tar kaka. Med et utgangspunkt på 48 - førtiåtte - respondenter slår VG opp følgende: «Sjokkmåling for høyresiden: KrF-velgere vil ha Støre-regjering».

Er det riktig å kalle VGs sak «fake news» fordi resultatet av målingen baserer seg på svar fra bare 48 respondenter? Kan man si at VGs påstand om at et flertall av KrF-velgerne vil ha en Støre-ledet regjering, er tatt ut av løse luften? Det skal vi se på i denne faktasjekken.

Faktisk.no har fått tilsendt bakgrunnstallene for undersøkelsen fra VG.

Viser til metodiske problemer

I en e-post til Faktisk.no skriver Stavrum at utgangspunktet for hans kommentar er hvilket etterlatt inntrykk VG skaper med tittelen sin. «Konklusjonen er basert på et utvalg av 48 personer av en populasjon av 123 000 KrF-velgere ved siste valg», skriver han.

Utvalget består av 48 personer, av et tilfeldig utvalg på 1000 personer, som har svart at de ville stemt på KrF hvis det var stortingsvalg i morgen.

Ifølge Stavrum er det «metodisk mange problemer» ved VGs sak:

1. De 48 er ikke valgt tilfeldig ut blant KrF-velgere men blant befolkningen totalt sett. Dersom KrF-velgere avviker fra befolkningen forøvrig, er utvalget systematisk skjevt og ikke tilfeldig.
2. Utvalget er lite, noe som i seg selv gir en stor feilmargin. Hadde man trukket de 48 tilfeldig blant KrF-velgere ville en vanlig feilmargin (med 95 % konfidensnivå) vært på 14 prosent. Altså hvis resultatet var 50/50, så ville alt innenfor cirka 35/65 prosent vært innenfor konfidensnivået – i klartekst: Man ville ikke visst om det riktige svaret var 35 prosent eller 65 prosent.
3. Gitt at utvalget er et panel, så kommer en ny problematikk - nemlig selvseleksjon til paneler. Med andre ord: Skiller deltakere i paneler seg fra befolkningen ellers (siden de er villig til gang på gang å svare på slike undersøkelser).

Representativt utvalg

Stavrum mener altså at de 48 KrF-velgerne som har svart ikke utgjør et tilfeldig utvalg.

Siden det ikke er mulig å spørre alle norske velgere om hva de mener hver eneste måned, spør man kun et lite utvalg av dem.

I VG-målingen har Respons Analyse intervjuet 1000 tilfeldige personer via telefon. Disse er ikke del av et panel som intervjues fast over tid. Problematikken Stavrum nevner om at bruk av panelundersøkelser kan være en feilkilde, er altså ikke relevant her.

Ifølge Respons Analyse utgjør disse personene et representativt utvalg av befolkningen over 18 år. Det betyr at de 1000 spurte skal kunne representere hva alle de drøyt 3,7 millioner stemmeberettigede i Norge mener.

Etter at svarene er samlet har Respons Analyse vektet svarene i forhold til kjønns- og alderssammensetningen i befolkningen, slik at resultatene best skal gjenspeile populasjonen.

Men hva skjer når VG velger å vinkle saken sin på svarene fra et lite mindretall KrF-velgere, som her utgjør bare 48 personer? Blir det «fake news», slik Stavrum hevder?

– Helt standard

Langt ifra, ifølge Bernt Aardal. Han er professor i statsvitenskap ved Universitetet i Oslo og har ledet Valgforskningsprogrammet ved Instiutt for samfunnsforskning siden 1985. Han har akkurat lest Stavrums kommentar når Faktisk.no ringer.

– Å kalle dette for fake news er bare tull. Hvis tolkning av meningsmålinger er fake news, er det mye som er det, sier han.

Han viser til at det er helt normal framgangsmåte å si noe om mindre undergrupper i et større utvalg slik VG her gjør. Å trekke et utvalg bare av KrF-velgere, er ikke mulig, ifølge valgforskeren:

– Vi vet ikke på forhånd hvem som sier de vil stemme KrF, så det er helt misforstått at man skal trekke et utvalg bare av KrF-velgere. For å treffe på 1000 KrF-velgere i en undersøkelse, måtte man kanskje intervjuet 20 000 personer totalt. Å dele opp materialet slik Respons Analyse har gjort for VG, er derfor helt standard, sier han.

– Ikke problematisk

Ottar Hellevik er professor emeritus ved Institutt for statsvitenskap på Universitetet i Oslo. Han har skrevet flere bøker om tolkning av meningsmålinger og forskningsmetode.

– Det er ikke problematisk å omtale svarene fra KrF-velgerne slik det er gjort her, sier Hellevik til Faktisk.no.

Selv om KrF-velgerne utgjør bare 48 personer, gjør ikke dette at utvalget blir skjevt:

– De er en del av et representativt utvalg, og har fått samme spørsmål som de 1000 andre i dette utvalget, forklarer Hellevik.

Det er altså ikke bare de 48 som sier de ville stemt KrF hvis det var valg i morgen som har svart på dette spørsmålet. Alle de 1000 respondentene – også de som sier de ville stemt på andre partier – har svart.

– Stryker med glans

Stavrum skriver også til Faktisk.no at feilmarginen blir stor fordi utvalget er lite.

Siden man aldri spør absolutt hele populasjonen i en meningsmåling, vil resultatene alltid ha en viss grad av usikkerhet. For å si noe om hvor nøyaktig resultatet er, kan man gjøre en utregning for å finne feilmarginen.

Feilmarginen angir innenfor hvilke rammer vi kan regne med at resultatet for hele populasjonen vil ligge. I dette tilfellet er populasjonen dem som ville stemt KrF hvis det var valg i morgen. Som en hovedregel kan man si at jo større utvalget er, jo mindre er feilmarginen.

Ifølge Aardal har Stavrum et poeng når han påpeker at et utvalg på 48 respondenter er lite. Det betyr imidlertid ikke at resultatene fra undersøkelsen ikke kan brukes til noe, slik Nettavisens redaktør hevder.

– Stavrum skriver at metodebruken til VG ville stått til stryk på statsvitenskap grunnfag, men her stryker han med glans selv, sier Aardal.

Han sier at resultatet er signifikant. Ottar Hellevik forklarer:

– Det lave antallet KrF-respondenter betyr at den statistiske usikkerheten blir større. Men når forskjellen mellom andelene for de to svaralternativene er så stor, er det overveiende sannsynlig at det også er en tilsvarende overvekt blant alle KrF-velgere.

Stor feilmargin

For å illustrere dette kan vi regne ut feilmarginen for svaret på spørsmålet om hvilken regjering respondentene mener KrF bør gå inn i. Her har altså 48 KrF-velgere svart, fordelt på fire svaralternativer:

1. En flertallsregjering ledet av Erna Solberg med Høyre, Frp, Venstre og KrF (17 prosent av 48 respondenter).
2. En mindretalls-regjering ledet av Jonas Gahr Støre med Ap, Sp og KrF (75 prosent av 48 respondenter).
3. Ingen av dem (2 prosent av 48 respondenter).
4. Ikke sikker (6 prosent av 48 respondenter).

Faktisk.no har bedt seniorforsker Ingunn Fride Tvete og assisterende forskningssjef Anders Løland i Norsk Regnesentral om å regne ut feilmarginen for svaralternativ 1 og 2:

1. Svaret ligger et sted mellom 8,2 og 32,7 prosent.
2. Svaret ligger et sted mellom 67,3 prosent og 91,8 prosent.

Her er det regnet med et konfidensnivå på 95 prosent, som betyr at resultatene i 19 av 20 tilfeller vil ligge et sted innenfor feilmarginen. I 5 prosent av tilfellene vil resultatene ligge utenfor. Dette er nivået det er vanligst å bruke, og også nivået som er brukt av VG og Respons Analyse.

Klart signifikant

Feilmarginene er altså store, men forskjellen mellom svaralternativ 1 og 2 er likevel så stor at feilmarginene ikke overlapper hverandre: Det er langt mellom 32,7 prosent og 67,3 prosent.

– Forskjellen mellom de to gruppene er klart signifikant. Selv om utvalgsstørrelsen bare er på 48, og faktisk bare 44 har valgt ett av de to regjeringsalternativene, er forskjellen blant de 44 så stor at det trolig ikke skyldes tilfeldigheter, skriver Tvete og Løland i Norsk Regnesentral i en e-post.

De er tydelige på at det lave antallet respondenter ikke innvirker på om resultatet er signifikant.

– Så lenge utvalget er trukket tilfeldig og den observerte forskjellen på to grupper er stor nok, kan vi konkludere med at forskjellen er signifikant selv om antall spurte er lavt, skriver Tvete og Løland.

Oppsummering

• Undersøkelsen Respons Analyse har gjennomført på vegne av VG er ikke en panelundersøkelse, men gjort via telefon blant et representativt utvalg på 1000 personer.
• Alle 1000 har svart på spørsmålet om hvilken regjering de mener KrF bør gå inn i i løpet av høsten. VG har trukket ut svarene til de som svarer at de ville ha stemt på KrF dersom det var stortingsvalg i morgen – 48 personer.
• 17 prosent av de 48 respondentene mener at KrF bør gå inn i en flertallsregjering ledet av Erna Solberg med Høyre, Frp, Venstre og KrF.
• 75 prosent av de 48 respondentene mener at KrF bør gå inn i en mindretallsregjering ledet av Jonas Gahr Støre med Ap, Sp og KrF.
• Feilmarginene er store, men avstanden mellom dem som ønsker en Støre-ledet og dem som ønsker en Solberg-ledet regjering er så stor at feilmarginene ikke overlapper hverandre. Forskjellen mellom de to gruppene er derfor signifikant.

Tilsvar

Gunnar Stavrum skriver i en e-post til Faktisk.no at han mener det er bombastisk å hevde at påstanden hans er helt feil:

Å hevde at mine innvendinger er helt feil er å dra det for langt fordi hverken dere eller kildene dere har intervjuet kjenner fasiten – altså hvor mange KrF-velgere som støtter Støre-regjering.

Stavrum skriver at han fastholder at det er stor usikkerhet, noe også Aardal er enig i, og at han fastholder at det er en ekstra usikkerhet fordi man har tatt et underutvalg av et utvalg.

Aardal har rett i at det er vanlig og praktisk, men det er i seg selv ikke et argument for at funnene er virkelige og sanne. Jeg antar at Aardal er enig i at et tilfeldig utvalg av KrF-velgere ville gitt mer presise svar, selv om det er praktisk vanskelig å gjennomføre.

Til slutt står man igjen med at 48 personer – mindre tilfeldig utplukket enn normalt – blir brukt til en slutning om 123 000 KrF-velgere.

Avslutningsvis skriver Stavrum at meningsmålinger bommer jevnlig, og at denne målingen er vesentlig mer usikker enn meningsmålinger flest. Han viser også til en undersøkelse TV 2 har fått utført som sier at sju av ti velgere mener KrF tilhører høyresiden i norsk politikk.

Hvis denne også er signifikant, så har vi altså to målinger som viser omtrent det motsatte basert på samme metode.